聚星樓原高7層,但後來因風雨侵蝕,上面4層經已在風災中塌毀,只剩下現時的3層。聚星樓呈六角形,建基於一矮台之上,主要以青磚及麻石砌成。3層的聚星樓約13公尺高,最上層供奉著主宰文運、掌管功名的魁星。聚星樓每層均有吉祥的題字,由上層而下分別是「凌漢」、「聚星樓」 和「光射斗垣」。