王阳明故居地处余姚城区传统历史街区武胜门路西侧，阳明西路以北。 故居坐北朝南，平面呈长方形，在建筑设计和营造上反映出明代浙东官宦建筑的一些典型特点，用材粗壮、气势恢宏，各幢建筑结构严谨，按中轴线对称分布，主次建筑分布有序，饰件素雅。 整个故居既给人以庭院深深之感，又不失端庄和典雅之气度。 故居建筑自南至北沿中轴线分别为门厅、轿厅、砖雕门楼、大厅及瑞云楼、后罩屋。王阳明故居的主体建筑――瑞云楼为重檐硬山、五间二弄的二层木结构楼房，有先人端云送子传说，故名端云楼。 楼下明间檐下悬有史树青先生题写的“瑞云楼”匾，明间前檐柱的楹联为“立德立功立言真三不朽，明理明知明教乃万人师”，内檐柱的檐联为“曾将大学垂名教，尚有高楼揭瑞云。”

王阳明诞生时他祖母梦见神仙瑞云送子的佳话，遂将此楼称为瑞云楼，王阳明在此楼度过了他的童年时光。主楼建筑面积500多平方米，七楼七底，重檐硬山，结构简朴，气势较大，展现了浙东地区明清楼宅建筑的基本风貌。 主楼设有王阳明史迹陈列，展览以翔实丰富的图片资料和实物，展示了王阳明先生作为“明第一流人物”，“立功、立德、立言皆居绝顶”人物光辉灿烂的一生。瑞云楼是王阳明父亲王华考中状元前租自莫氏。明成化八年，王阳明诞生时，他祖母梦见神仙瑞云送子的佳话，遂将此楼称之为瑞云楼。王阳明在此楼度过了他的童年生活，待王华任职京师，即择地龙山里第构筑新居，此楼又租给钱氏。 至弘治九年（1496），王阳明的得意门生、大儒钱德洪亦降生于此楼，实乃历史之巧合。待王阳明贵显，每当回姚，必指点楼中藏胎衣处，顾念到母亲和祖母，因自己军务繁忙，对母、祖不得生养死殓，每每引起长时间的痛苦。在火烧场遗址上借用别处拆迁的明代建筑材料，仍按明代风格，参照故文献《瑞云楼记》所述原样在原址修建。 楼下现布置有《王阳明史迹陈列》，展示了王阳明生平所至的各地遗迹图片、先生留下的诗文名篇及部分实物资料，系统介绍了王阳明一生的业绩成就。