灵山寺始建于北魏孝帝延兴四年（公元474年），为佛教传入中国所建最早寺院之一。唐玄宗时曾被封为国庙。宋元祐二年（公元1087年）扩建。元延祐二年（公元1315年）重修。明洪武三年（公元1370年）太祖朱元璋到此降香，封当时的住持僧陈大用为金碧峰禅师，令其随驾入京，参议朝政，并为寺门题“圣寿禅寺”匾额，又赐半副鸾驾陈于大殿。清康熙五十一年（公元1712年），灵山寺住持僧杲英赴印度研究佛学，带回梵石释迦牟尼及二十四罗汉塑像。清道光八年（公元1828年），寺院被水冲倒，后经不断修缮，至民国20年（1913年）恢复旧观。此后兵连祸接，毁多修少，日渐萧条。1995年有僧尼35人。“文革”时，文物被毁，大部分填埋在一莲池大坝下，僧尼有的还俗，有的被编为董寨林场职工。1978年，灵山寺被定为县级文物保护单位，遭破坏的文物开始修复，僧尼陆续回归。1985年恢复三月初一庙会。现有大殿七层，分别为天王殿、祖师殿、大雄宝殿、法堂、念佛堂、千手千眼观音殿、祖师堂。大都采用单檐起五、七架，厅出单双步穿堂，中轴建筑两侧有数十间穿短式的厢房。1997年11月，国际佛教协会赠给灵山寺大型汉白玉佛像五尊：卧佛、释迦摩尼、观音菩萨、文珠菩萨、普贤菩萨分别安放在天王殿、祖师殿、大雄宝殿、法堂、念佛堂。