大香山寺历史悠久。旧志记载兴于苻秦（351年－384年）年间，盛于姚秦（384年－417年）。苻秦年间，其大将苌拥有兵自立，屯兵香山，自称大单于，万年秦王。其兄姚襄战死，姚苌封其为魏王。至今留有秦王洞、魏王楼、校兵场、地牢等遗址。姚苌攻入长安，来苻秦，苻坚之女与玉玺不知下落。姚苌逼死苻坚，也没有得到玉玺。香山传说，某王之女乃观音菩萨化身，坐化于大香山寺之真身洞。民国年间，大香山寺尚“有一玉印，大同玉玺，类玛瑙色，全体透明，中有白脂，宛如游龙。”二者相考，香山菩萨似为苻坚之女。据有关资料记载，苻坚崇信佛教，381年，苻坚征伐龟兹之时，特别嘱咐：听说龟兹有一高僧，叫鸠摩罗什，如克龟兹，一定要迎送到长安。其女在国亡之时，削发出家，情理之中。盖妙善公主传说，始于宋代；妙庄王之说，缘于佛经，均不能考香山菩萨之始。姚秦时，全国上下笃信佛法，有“十室九空”之说。香山是姚秦的发祥地，相传姚苌死后，其子姚兴继位，改国号白雀，修建白雀寺，大香山寺更是兴盛。唐代前几年任皇帝均崇信佛教，香山乃京畿近邑，自然佛事兴盛，借天灾人祸之下，一切荡然无存，无可考证。至于明代，左龙麓、左佩玄父子尽力经营于前，乔世宁捐山场于后，大香山佛教从寺产到修建，皆入又一次兴盛时期。清朝至民国末年，景、郭、樊三母修之于先，铸铁瓦3000页，创修铁瓦殿三间，建500石台阶。“宗亮和尚继之于后，创建十方丛林，凡圣同居，大做佛事。”同治元年（1862年），“慈禧太后蒙佑愈疾，因题宣慈昭佑匾额，以答菩萨宏思，是皆有迹有考。”大香山寺的兴盛，略见一斑。民国年间，香山寺进入极盛时期，中国人民解放军元帅聂荣臻在《回忆红二十六红二团》一文中回忆说，“寺内，广厦千间，建筑宏伟，雕梁画栋，精巧别致，回廊曲折,幽静古朴。四周苍松翠柏覆盖，怪石突兀峭立，山径崎岖蜿蜒，地形险峻独特。是陕西甘两省闻名遐迩的古迹。庙中和尚千人，尼姑数十，庙产达十万亩之多，贮有大批的粮食和物质“。香山之盛，可谓极矣！毁于兵火之后，大香山寺又慢慢兴盛起来。1966年初，全寺有僧尼30多人，大香山寺有庙宇200余间，耕种土地200余亩，屯粮12000余斤，核桃700余斤，牲畜有骡子2头、牛7头，农具较全。当时，还准备了修建庙宇的木料50方、钢材5000余斤。文化大革命期间大香山寺僧尼相继被驱赶下山。檀木千手观音等佛像被焚毁一空，宗教活动全部停止。