司马迁祠墓始建于西晋永嘉四年（公元310年），距今已有近1700年。“夏阳太守殷济，瞻仰遗文，慕其功德，遂建石室，立碑，树柏。”又据县志载：“水经注：子长墓有庙，庙前有碑。晋永嘉四年汉阳太守殷济，瞻仰遗文，大其功德，遂建石室立碑树柏。太史公曰：迁生龙门，是其坟虚所在矣。”到北宋靖康四年重建寝宫。以后，千余年来屡经修缮，增建。

　　祠的北侧，断崖壁立，高约一百公尺。在祠前凭高俯视：黄河绕其前芝水漾乎左，西枕梁山之岗，南临千仞之祠院四周都是用砖砌起的数仞高的朵墙，远瞻俯瞰，备极雄伟。院内有数十株参天古柏，再加上竞芳花木，充分显示司马迁的伟大人格与万代名香。

　　司马迁的祖先，司马迁在自序中说：“昌（高祖）生无泽（曾祖），无泽为汉市长。无泽生喜（祖），喜为五大夫，卒皆葬高门。”今嵬东乡有高门村，高门村南距祠墓约四华里有司马迁先茔。

　　大规模扩建太史祠，是清康熙七年（公元1669年）。这次扩建由县令翟世琪与芝川乡老扬四可等二十人共同商议，在司马坡上架了一座天桥，用车把南塬上的土拉到司马祠前。没有几天，就填起堂基长9.6丈，宽5.6丈，把明堂填得又高又宽。为求巩固又将堂基及右岸用灰砖三层，从外严加封裹。基下左侧沟涧，自东绕而前，也填沟数丈为神路，并用砖石砌成九十九层台阶，拾级而上，高入云表。

　　从建筑角度讲，太史祠虽然建筑规模不大，形式气派却和司马迁的人格、文章、事业一样，超拔于群。它是依据山岭的天然地形，不受中国建筑传统对称布局限制，经过精心擘划，建筑成高峻挺拔、气势雄伟的太史祠，和周围环境非常协调。据古建筑专家鉴定，这座宋代建筑对我们了解和研究中国古建筑的发展和演变以及地区建筑上的相互影响，提供了重要实物资料。太史祠墓不仅是我国文化史上的宝贵遗产，同时也是研究我国建筑史的一个有代表性的实物史料。

　　解放后，党和人民政府对太史祠极为重视，加强保护。1956年8月6日，省人民政府公布司马迁祠墓为陕西省第一批文物保护单位。1957年拨款进行了重修。1982年国务院公布司马迁祠为第二批国家文物保护单位。韩城市于1973年6月成立了“司马庙文管所”。1978年以来先后将韩城市境内的彰耀寺、三圣庙、禹王庙、河渎碑、兴善寺山门搬迁至祠内。形成古建筑群。1986年11月至1989年3月，国家又投资230万元对祠台和北坡进行了加固维修。从芝川镇到祠墓三公里远的油路已经铺通，路两旁有松柏观赏树，现在这里除参观祠墓外，有四个展览室：第一展室为司马迁生平展览。设在迁来的三圣庙正殿。占地面积84.252平方米。展室的主要内容有中历史年表、司马迁生平年表，司马迁三次旅游线路图，司马迁生平画以及有关司马迁与《史记》的研究论文等。

　　第二展为司马迁故事展室，设在迁来的三圣庙献殿，占地面积142.559平方米。

　　第三展室设在迁来的彰耀寺正殿，占面积130.65平方米，主要展出三十九幅碑文，其中 有记载宋、元、明、清历代 修缮和增建的碑文，亦有歌颂司马迁丰功伟绩的碑文，不少为名书法家如林则徐、王杰、郭沫苦等人的手笔。

　　第四展室，设在迁来的禹王庙正殿。占地面积90.32平方米，主要展出《史记》的名言警句和五十三幅名人的书法。

　　除此之外，这里还设有商店、照相铺、茶厅、接待室等服务设施，每年接待数十万国内外游客。