灵源山历代有不少儒生结庐读书。唐代首开八闽科第的欧阳詹就曾居此山读书三载。宋代名士林知读书终老灵源山并终葬于此。其后，林知裔孙，曾写下传世之作“山外青山楼外楼”的诗人林外，也曾读书山中紫云室。山中还有如元代任过潮州路总管，元亡后寓居本邑沙堤的王翰，就常盘桓灵源山上，自称“友石山人”。明代黄克晦、王慎中、陈让、张瑞图、苏浚等名士都留下咏灵源山的诗篇，至今为人传颂。

　　灵源山中有灵应著称的千年古刹——灵源禅寺，以及步云关、望江石、石境道人之塔、紫云室、灵泉井、七星墩、公婆石、狮仔石、灵壶天等胜迹。其中“灵壶天”三个娟秀的楷书大字，是里人明太傅尚书呈淳夫于万历四十七年题写的。

　　“自古名山僧占多”，相传早于隋初开皇八年（589年），就有僧人于灵源山顶立寺祀奉观音大士。唐德宗贞元八年（792年）来庵隐居的道士蔡明浚与寺僧守净共同扩建。元末明初（1368年）陈友谅举事兵败，其骁将张定边亦遁于此山削发为僧，号沐讲禅师，于明洪武初年在山腰建新寺。寺分为上下二寺：上名天公案（观），因常有紫云盖上，故号“紫云寺”（后毁）；下名灵源寺（即灵源庵）。明永乐七年（1409年），寺左又建一“霁云书院”，一称朱子祠。正德年间（1506年前后）里人吴东篱，精通堪舆，亲自劝募在右边建尼姑庵舍和夫人妈宫，并筑寺围墙。为此，寺宇规模初定。明人苏浚有《咏灵源庵》一诗写其形胜：“丹崖玄室倚天孤，一径迁回万壑殊，有客入门苔不扫，无僧余法鸟相呼。胸吞渤搂三岛，手拍浮丘倒百壶。夜静钟声醒客梦，天花渺渺出仙都。”