该寺最初是南越王赵佗（22O一265）之孙赵建德的住宅。三国时吴国都尉虞翻因忠谏吴王被贬广州，住在此地，并在此扩建住宅讲学，虞翻死后，家人把住宅改为庙宇，命名“制止寺”。东晋时期，西域名僧昙摩耶舍来广州弘法时，在此建了大雄宝殿。唐宋时期，该寺改为“报恩广教寺”。南宋绍兴二十一年（1151）改名光孝寺。此名一直沿用至今。光孝寺在中国佛教史上具有重要地位。自从昙摩耶舍在此建寺讲学以后，先后有许多名僧也来此传教。例如南北朝梁朝时代，印度名僧智药禅师途经西藏来广州讲学，并带来一株菩提树，栽在该寺的祭坛上。唐仪凤元年（676），高僧慧能曾在该寺的菩提树下受戒，开辟佛教南宗，称“禅宗六祖”，为该寺增添了不朽的光彩。公元749年，唐代高僧鉴真第五次东渡日本时，被飓风吹至海南岛，然后来广州，也在此住过一个春天。寺院气势十分雄伟，殿宇结构威严壮丽，特点鲜明。大雄宝殿作为光孝寺最主要的建筑，构筑在高高的台基上，钟、鼓二楼分建在殿之左右。殿内是新修建的三尊大佛像，中为释迦牟尼佛，左右分别是文殊菩萨和普贤菩萨，三尊佛像合称为华严三圣。宝殿台基左右两侧还有一对石法幢。主要建筑有山门、天王殿、大雄宝殿、瘗发塔。大殿为东晋隆安五年昙摩耶舍始建，历代均有重修。现面宽七间35.36米，进深五间24.8米，高13.6米，重檐歇山顶，为岭南最雄伟巍峨的大殿。