祖越寺是千山最早的庙宇建筑之一。相传昔日建寺时，有一位祖师从此路过，曾仔细察看该寺的建筑，故的寺名祖越寺。据考证，它最初建于唐朝，当时此寺建筑极为宽阔宏伟，大于现在的数倍。金、元时期山洪暴发，寺庙被毁。现在的祖越寺为明朝时所建，香火曾盛极一时，后逐渐衰微，后经清乾隆、道光、光绪几代相继重修，解放后多次修缮。现有建筑七幢：正殿（释迦殿），韦驮殿，阶下为东西配殿，配殿南有钟、鼓楼，呈东西对称。正殿东侧是胡仙堂和客室，殿堂内供奉有泥塑，木雕佛像等30余尊。寺门正对正殿释迦殿，门外是长达50米的一堵石墙。现存殿宇，经1978年重修，由比丘尼住持。
祖越寺的建筑布局严谨、规整，殿宇壮观，坐落在东西两面山峰的抱合众，寺周围峰翠欲滴，松涛波涌，山色秀丽，流水潺潺，小亭玉立。秀美山色使人留恋忘返。前人曾用“祖越多奇境，天公亦幻哉”的诗句来赞叹祖越寺的景色。
祖越寺后山石壁上刻有“独镇群岳”四个大字，据传这是明隆庆二年（1568年），一位巡侍御所题，旁边还有“含译宣气”四字，由于年代久远，只能看出字的轮廓。山门东侧有一株古松，名曰“惧松”，“惧松”旁边有石碑，上有清光绪元年刻写的“天花乱坠地涌金莲”八个大字。
祖越寺周围有玉皇阁、罗汉洞、八步紧、七步松、夹扁石、一步登天等二十四景。玉皇阁在三十三天附近，筑于峭壁之上；罗汉洞中塑有十八罗汉；八步紧在卧象峰东，在陡壁下有石阶八蹬，循蹬而上，越过七步松、夹扁石，即可达一步登天。游人无不赞叹祖越寺奇俏秀丽的景色和精湛的建筑。