曾特首曾經在港英政府及特區政府多個部門工作，到底哪一份工作令他最感難受？曾特首不說「最難受」，只說「最辛苦」，便是自己當行政署長時。
原來當時該職位是港英政府新開設的，港英布政司（相當於現時的政務司司長）霍德要求他參與所有部門的會議，結果慘被相關部門的同事排斥，當時更被已故的前政務司曹廣榮破口大罵，指「唔關你事，做咩坐効度，呢度冇你份坐既」；而在六四後，他又處理過居英權問題，受盡各方奚落，「我幾十年來呢段時間最慘！」
