所以游人说，红石峡风景幽美，像是江南，又似仙境，被称为万里长城第一胜景。关于红石峡的起源，《榆林府志》说：宋朝时，榆林这一带归西夏国管。当时红山有股泉水自穴中涌出南流。西夏国王李继迁看中了这块风水宝地，派人障水别流，凿石为穴，埋葬祖先，复引水其上。因此，在红石峡水库的普济桥东侧原立碑一座：“西夏王李继迁葬乃祖彝昌于此。”现碑已毁。另一种说法是，1472年，余子俊任延绥巡抚都御使，准备修长城。当时，红山北边，清水河的水汪了个大海子。

　　海子中间的水寨中住着一伙抢夺蒙汉人民牛羊、粮食、衣物的水贼。为消灭这伙强盗，余子俊便派人在此凿石为渠，引海子的水从榆林城西南流入无定河。水退后，余子俊派大军消灭了这股强盗。当时，把凿开的石峡叫红石峡，引入的渠水叫榆溪河，两岸凿修的灌溉叫广泽渠。红石峡东崖有宋元古刹雄山寺。庙门在峡南，内有石台阶。寺依山傍水，复道飞檐，楼、阁、亭相望。殿宇都是悬崖上凿的石窟，约十多个。有“天门”、“地门”各一，都是隧道。“天门”从寺通至峡顶，中间有一阁叫“翠然阁”。