司马迁祠墓始建于西晋永嘉四年（公元310年），距今已有近1700年。“夏阳太守殷济，瞻仰遗文，慕其功德，遂建石室，立碑，树柏。”又据县志载：“水经注：子长墓有庙，庙前有碑。晋永嘉四年汉阳太守殷济，瞻仰遗文，大其功德，遂建石室立碑树柏。太史公曰：迁生龙门，是其坟虚所在矣。”到北宋靖康四年重建寝宫。以后，千余年来屡经修缮，增建。

　　祠的北侧，断崖壁立，高约一百公尺。在祠前凭高俯视：黄河绕其前芝水漾乎左，西枕梁山之岗，南临千仞之祠院四周都是用砖砌起的数仞高的朵墙，远瞻俯瞰，备极雄伟。院内有数十株参天古柏，再加上竞芳花木，充分显示司马迁的伟大人格与万代名香。

　　司马迁的祖先，司马迁在自序中说：“昌（高祖）生无泽（曾祖），无泽为汉市长。无泽生喜（祖），喜为五大夫，卒皆葬高门。”今嵬东乡有高门村，高门村南距祠墓约四华里有司马迁先茔。

　　大规模扩建太史祠，是清康熙七年（公元1669年）。这次扩建由县令翟世琪与芝川乡老扬四可等二十人共同商议，在司马坡上架了一座天桥，用车把南塬上的土拉到司马祠前。没有几天，就填起堂基长9.6丈，宽5.6丈，把明堂填得又高又宽。为求巩固又将堂基及右岸用灰砖三层，从外严加封裹。基下左侧沟涧，自东绕而前，也填沟数丈为神路，并用砖石砌成九十九层台阶，拾级而上，高入云表。

　　从建筑角度讲，太史祠虽然建筑规模不大，形式气派却和司马迁的人格、文章、事业一样，超拔于群。它是依据山岭的天然地形，不受中国建筑传统对称布局限制，经过精心擘划，建筑成高峻挺拔、气势雄伟的太史祠，和周围环境非常协调。据古建筑专家鉴定，这座宋代建筑对我们了解和研究中国古建筑的发展和演变以及地区建筑上的相互影响，提供了重要实物资料。太史祠墓不仅是我国文化史上的宝贵遗产，同时也是研究我国建筑史的一个有代表性的实物史料。