东狱大殿后是一座高三层的重檐歇山顶楼阁式“蓬莱阁”，巍峨屹立于高大的方形台基上，气势轩昂，直插云天，牙檐高啄，映翠飞丹。经蓬莱阁拾级而上可至第二台，台中有甬道，东边建有洞宾庙，西边建有山神庙和鲁班殿，殿前有抱厦，增添了建筑布局支次。第三台原有一牌坊，榜书“五台观”，今已圮。这里山势平缓，地面宽阔，建筑最为密集，有钟楼、灵官殿、土地庙、无量殿。无量殿的建筑规模仅次于东狱大殿。该殿年久倾塌后，清同治时复建。无量殿西边有娘娘庙，庙前建一轩，其后壁开轩窗两个，凭窗远望，可见西山莽莽如画，陇水萦回若带。壁上题联：“好山对面青如洗，远树当窗翠欲流”此外还有砖砌拱形顶的药王洞、华陀庙以仓颉庙、千眼千手佛洞、接引佛殿等。庙宇玲珑绚丽，各有千秋。第四台是三清官，第五台为玉皇庙，第六台原建老君庙，今圮。泰山庙始建于何时已无考，明万历10年盐城知县杨瑞云重修。泰山庙原为四进级院房，入口处有八字墙，城门式的墙上书有“泰山庙”三个隶体大字；第二进为两层楼房；第三进是一座雄伟的古式建筑物枣飞檐楼，两边建有厢房数间；第四进为藏经楼。1941年1月25日，新四军于皖南事变后在盐城重建军部，同年2月27日军部迁驻庙内。当年7月，日伪军发动对盐阜区第一次大“扫荡”，军部撤出，向阜宁县陈集区停翅港转移，泰山庙遭到敌机狂轰烂炸，破坏十分严重。