香山峰峦起伏，绵延不断，主峰海拔2361米，其势高插云霄，拔起于群山之上，雄伟壮丽，大气磅礴。主峰顶上有天然平台一块，旧时建有“香岩寺”。后来，烧香拜佛的人越来越多，寺名逐渐被香客和群众称为“香山寺”。 香岩寺屡经修茸，规模越来越大，甚为壮观。绕寺环顾，群山重叠，向北远眺，沙漠浩瀚，黄河如练，村镇星罗，道路纵横，令游人纵目驰怀，心旷神怡。使人确有“会当凌绝顶，一览众山小”之感慨。清代诗人宋楫的《香岩登览》诗赞日：“边城古刹势崔嵬，竞日登临未拟回。俯视河山收眼界，恍疑身茁雨花台。 香岩寺塔林：座落于中卫城区香山主峰之巅的香岩寺东，南坡脚下。占地面积约1000多平方朱，共有大小塔10座，分砖筑、土筑两种。个别砖塔稍有倾斜，土筑的有3座，现已倾塌仅存基址。该处塔林为清代历任香岩寺主持僧人的墓塔。

香岩寺始建于唐代（与石空大佛寺，宣和羚羊寺，寺口米钵寺同为宁夏四大古寺之一）。清乾隆中卫县志载：“县之南山总名，前明为庆王牧场。。。。。山巅高约十里，旧建有香岩寺。”