除了種植，梁振英也喜歡游泳：「我在山頂住時，我仍可以在每晚有半小時、一小時種植，冬天作為熱身運動，夏天出一身汗，之後跳到泳池游水，我們有自己的泳池，這是做特首前的生活。」不過，他當上特首後，就很難有這般閒情逸致：「搬進來（禮賓府）三四年，我終於在上個星期日（指6月26日），下決心在這裡（來個）『下水禮』，第一次在禮賓府的泳池游水，因為確實是時間不足。」
禮賓府泳池 四年游一次
公眾人物的生活，很多時都不屬於自己的，何況特首？他感嘆，越來越少時間與朋友、舊同學見面，也很少機會共聚天倫，「過去未做特首之前，子女在外面讀書、工作，我有時間就飛過去探他們，現在連這方面都比較少。」
因為「做」和「睡」幾乎是梁振英每天只做的兩件事，回到官邸也不代表可以收工，「周末、放假的時間，晚上的時間，10點、11點，都會有人來找我談一些公事，有話則長、無話則短，所以時間真的排到密密麻麻。」
即使有時間與朋友敘敘舊，他也要封口。他說由於職務限制，在一些問題上不能隨便表態，「我是聽的比較多，所以可能給朋友一個印象，就是好像較以前沒那麼『放』、沒那麼健談......要請大家朋友諒解。」
確實，特首不易做。