方丈院位于舍利塔南侧，斋堂三圣殿东侧。方丈室座北朝南，原来是弥陀殿，后来改作方丈室正房五间，硬山式，高28尺，进深35尺，面阔60尺。门额上原挂有康熙皇帝所题“松竹清幽”和乾隆皇帝手书“西峰乐界”的匾额，今已不存。在方丈室东西两侧，各有配房数间。

　　方丈室是佛寺住持居住和说法的处所。据《维摩诘经》记载，道高德超的维摩诘居士所居住的寝室，四面各长一丈，即面积只有一平方丈，然而其限量却是无限的，因而禅宗寺院就用“方丈室”，方丈室所在的院落为“方丈院”。

　　帝后宫帝后宫在方丈院东侧，为清代帝后的行宫，因而又称为行宫院。潭柘寺的行宫原来在方丈院南侧，因这里西临大雄宝殿，每日钟鼓声、诵经声十分喧嚣，再加上香火的烟气很大，很不利于皇帝休息。用现在的话说就是噪音污染和空气污染都十分严重，因而在清代于方丈院东侧修建了一座新的行宫院。这是一座四合院，北房三间是太后宫，高21尺，进深27尺，面阔33尺，硬山式。现宫内放有一木雕宝座，上有雕花垂花木罩，宝座上有乾隆皇帝的蜡像，其前侧有侍立的太监蜡像。太后宫的东侧有耳房两间，原来是侍侯皇帝贴身太监的住所。在万岁宫的南侧是竹林院，院内种有两池名贵的“玉镶金”竹，这里假山叠翠，环境清幽，十分雅致。

　　东房三间是御书房，是皇帝在寺留住期间读书和办公的地方，门额上原挂乾隆皇手书“猗玕清净”的匾额和“石山水流动皆静；云间山出幻且宁”的对联，后来又将这幅匾联移到了院中的流杯亭上。院内原来还有配房七间，北侧的三间是嫔妃宫，南侧的四间是侍卫房，后来拆除。行宫院全部房舍都是硬山式，木结构，青灰砖墙，青灰筒子瓦覆顶。