當了特首，難享天倫之樂。曾蔭權在訪問中坦言，自己身在英國的次子，「我一天還是特首，他一天也不會回來香港發展！」他解釋，由於他的特首身份，兒子也成為了備受注意的對象；大兒子還好，是個醫生，次子則是做電腦工作的，如果回港發展，少有成就也會被人指為「靠父親關係」，因此惟有「胡不歸」了。
