姻緣石的傳說有很多，其中一個是說一位情場失意的女子，偶然經過姻緣石，因見此石奇異，便向石祈求良緣，結果竟如願以償，覓得如意郎君。這事流傳開去，吸引其他人紛紛到此參拜求緣，成為今天人所共知的姻緣石。
另一個傳說則較淒迷，話說香港在日佔時，一個日本軍人愛上了一名香港女子，後來日軍敗退，因女方家人禁止成親，二人唯有私奔，卻不幸餓死在姻緣石旁。後來他倆向村民報夢說已化成仙侶，並說可到姻緣石向他們求姻緣，此事不脛而走，成為今天的姻緣石。
