金台寺原名金台精舍，黄杨八景之一。南宋未年，诸忠臣护卫着祥兴帝赵丙是广东新会崖门海面摆开千艘战船抗击元兵失败，丞相陆秀夫背负年幼的祥兴帝投海殉国。大将张世杰率领余部突围，却在南海遇上狂风舟覆而亡，其尸漂流至黄杨山下的大赤坎，被村民安葬于黄杨山麓。遗臣承节郎赵时从、大理寺丞龚行卿、翰林学士邓光荐等人则隐入黄杨山卡筑舍而居，取名“金台精舍”。史载春秋时燕昭王于易水筑”黄金台”以召天下仕。赵时从等人于黄杨山筑舍也自比贤士聚会，读书吟句为名，密谋抗元为实。金台精舍乃金台寺之前身。

90年代初，修复金台寺工程启动。因旧址已被水淹且交通不便，遂选新址于黄杨山南麓“将军卸甲”处，此地风景秀美，前眺崖门海口，后枕黄杨主峰。