據說文家大宅建於1937年,處於郊野中一個「銀蛇伴金龜穴」的風水福地,在1943年被徵為日軍司令部,傳聞有女子死於宅內。戰後文家後人沒再回來,大宅就這樣被丟空。在1960年代,英軍為阻截偷渡來港的人,以文家大宅為宿舍,因水喉自動開關、燈泡爆破、士兵失蹤、牧師與鬼怪同歸於「燼」等怪異事件而撤離。據聞,大宅的地庫藏有棺木和嬰兒屍體,並在1964年7月已被燒燬。雖然如此,仍有不少對靈異感興趣的市民尋找它的遺址。