文庙原称孔庙，原为春秋时期儒教创始人孔子(名丘，字仲尼)的家庙，故称孔庙。从唐玄宗赐封孔子为“文宣王”以后，孔庙就被改称“文宣王庙”，并诏令全国各州县依制隆重奉祀。明代因与武庙(关帝庙)对应，改称“文庙”。在沧桑岁月中，平遥文庙曾经历过三移其址的风雨。据清光绪八年(1882年)《平遥县志》载：明崇祯九年(1636年)，时任知县王凝命上任祭拜孔庙后说，文庙隔街背对着“太子寺”，太子贵为储君，而孔子再高贵也属臣僚之列，臣庙居于君寺之前，有悖礼制，大不敬也!便强令互换，文庙改做太子寺。”其实，太子寺是一佛教寺院，因佛祖释迦牟尼出家前是古印度迦毗罗卫国的王太子而得名，与儒教之文庙纯属风马牛不相及。这位王知县是云南昆明人，赐进士出身．可谓孔子的“高徒”，却如此迂腐。县士绅虽明知荒唐，却畏其权势，不敢与之争，哭笑不得。“荒诞鄙俚最为不经，侮圣亵贤，不知其意之所在，相沿数十年，生儒抱恨不能更定。至康熙十四年知县柏乡魏裔悫至，询得其由，按图考察，慨然兴作，祥具各宪，仍以故寺为寺，而建新庙于旧所，阖邑称快。”(《平遥县志-学校志》)这样，至清康熙十四年(1675年)，才由知县魏裔悫(直隶柏乡县举人)移改。平遥的一件“糊涂官办糊涂事”的千古奇案，自此方得了结。

　　而据明万历三十七年(1609年)《汾州府志》载：“平遥县儒学，旧在县治东。嘉靖八年(1529年)，巡按穆公准呈，以前太子寺更之。”又据清乾隆三十六年(1771年)《汾州府志》载：“崇祯九年，知县王凝命，复以文庙与太子寺互更。国朝康熙十四年，知县魏裔悫，按嘉靖八年以后移改。”说明在明嘉靖八年前，现在文庙址上本为佛教的太子寺，其北面的太子寺(已毁)，才是最早的平遥文庙旧址。因而现存金大定三年重修的“大成殿”，最早应当也是佛教殿宇，其后墙上现存的后壁中门檩及门形仍存，似为佛教寺院的“中殿”格式，也是历史上“文庙三迁”的痕迹。

　　平遥文庙历来为县学所在，直至清光绪末年废除科举后，县学才停，改办为“平遥县实业学校”，开始了新学。到1923年，一些商贾财东捐资在文庙办起了“平遥励志中学校”，县长郭学谦还题写了校名门额，后改为官办平遥中学校，迁址到察院街。1950年，太岳中学同平遥中学合并，校址又设在文庙，其建筑基本保存着原貌，只拆除了棂星门、西学、省畜所。20世纪50年代末，修建平遥中学教学楼时，拆除了超山书院、敬一亭、尊经阁。1997年平遥古城被列为世界文化遗产，平遥文庙也被列为全国重点文物保护单位。在中共平遥县委、县政府、平遥中学和上级有关部门的大力支持下，平遥中学于2003年全部迁至东城外新校址。文庙得以重新复原，成为平遥古城的主要文物旅游景点之一，2004年正式向游人开放。