关于青羊宫的历史，唐乐朋龟《西川青羊宫碑铭》说：“太清仙伯敕青帝之童，化羊于蜀国。”题名汉扬雄《蜀王本记》亦曰：“老子为关令尹喜著《道德经》，临别曰：“子行道千日后，于成都青羊肆寻吾”。时隔三年，老君降临此地，尹喜如约前来，老君显现法相，端坐莲台，尹喜敷演道法。自此以后，青羊宫观便成为神仙聚会、老君传道的圣地。到了唐代，青羊观的规模已相当大。

　　天宝十五年（775），唐玄宗为避安史之乱而幸蜀，居于观内。恰好伟大诗人杜甫居住草堂，亲见雨映行宫，即景赋诗《严公雨中垂寄见忆一绝奉答二绝》。中和元年（881年），唐僖宗为避黄巢之乱奔蜀，也在观中驻营。据记载，在观内忽见红光如毯（球）入地，挖得一块玉砖，上面刻着古篆文：“太上平中和灾”。僖宗便将古篆玉书砖石的发现，当作天降吉祥的象征。后来僖宗返回长安，认为是太上老君的恩典，特下诏令，赐内外库钱二百万，大建殿堂，改“观”为“宫”。现在青羊宫的宏大格局，就是在那时形成的。宫观落成之后，报导象盛极。唐乐朋龟《西川青羊宫碑记》说：“冈阜崔嵬，楼台显敞，齐东溟圆峤之殿；抗西极化人之宫，牵剑阁之灵威，尽归行在；簇峨眉之秀气，半入都城。烟粘碧坛，风行清磬。”这样一业，青羊宫便成为唐末四川最大、最有影响的宫观了。

　　到了明代，唐代所建殿宇不幸毁于天灾兵焚，破坏惨重，已不复唐宋盛况。今所见者，均为清康熙六至十年（1667-1671年）陆续重建恢复的，在以后的同治和光绪年间，又经多次培修，解放后又多次修葺，即形成现在的建筑规模。