姻緣石的傳說有很多,其中一個是說一位情場失意的女子,偶然經過姻緣石,因見此石奇異,便向石祈求良緣,結果竟如願以償,覓得如意郎君。這事流傳開去,吸引其他人紛紛到此參拜求緣,成為今天人所共知的姻緣石。
另一個傳說則較淒美,話說香港在日佔時,一個日本軍人愛上了一名香港女子,後來日軍敗退,因女方家人禁止成親,二人唯有私奔,卻不幸餓死在姻緣石旁。後來他倆向村民報夢說已化成仙侶,並說可到姻緣石向他們求姻緣,此事不脛而走,成為今天的姻緣石。