南岳广济寺，原名清凉寺，后更名为广济，取佛法广济众生之意。广济寺位于衡山紫盖锋与祝融峰之间的峡谷平地上，始建于唐朝，在明朝万历年间由无碍和尚扩建，距南天门东约4公里左右。这里终年云雾缭绕，在日出时常出现彩虹。据说无碍和尚便是因看见佛光映照，才在此建造广济寺，供奉毗卢遮那佛。寺内曾供毗卢遮那佛像一尊。据佛经解释，毗卢遮那佛的的智慧能光明普照一切。所以广济寺又叫毗佛洞。

广济寺原名清淳寺。据《南岳志》记载：寺院是明朝神宗万历二十五年（公元一五九七年）开始建造的。创建者是明代一个有名的僧人，名叫无碍和尚。这无碍和尚原在南如寺为僧，他从河南信阳来南岳出家修行，三十余年来，口啖苦菜，不食五谷。他在继承了豆儿佛和尚的衣钵后，来到祝融峰上的狮子岩打坐，一天，忽然看见毗卢洞有一尊古佛放射出五彩的华光，他就在那里盖了一座茅庵，住了下来，后来创建寺院。不久，寺院倒毁。到了顺治十五年（公元一六五八年），无碍和尚的弟子竺庵和尚应南岳名士豪绅的邀请，于是从江西返回南岳，重新结茅庵于祖塔下，于是“法鼓声腾，名山为之一振”。他取佛法广济众生之意，将寺名改为广济寺，并于己亥（公元一六五九年）年秋，伐木造殿。后来竺庵和尚的弟子龙山和尚和智犁和尚又筹资兴建，断断续续经过五十九年，终于在清康熙五十七年（公元一七一八年）竣工，才成为现在这样的规模。