明朝末年，宏村人在南湖北畔建了六所私塾，称为“依湖六院”。清嘉庆年间（1814年），花了四年的时间，将六院合并重建为一所规模极大的私塾，取名“以文家塾”，又叫“南湖书院”。书院是一座具有浓厚徽州建筑风格的古建筑，面积十余亩，外面与一湖碧水相邻，里面有玲珑的假山，场上有株百年圆柏松。书院由志道堂、文昌阁、启蒙阁、会文阁、望湖楼、祗园六部分组成。“志道堂”是先生讲学之场所；“文昌阁”奉设孔子文位，供学生瞻仰膜拜；“启蒙阁”乃启蒙读书之处；会文阁供学子阅鉴四书五经；“望湖楼”为教学闲暇观景休息之地；“祗园”则为内苑。书院前临一湖碧水，后依连栋楼舍，粉墙黛瓦、碧水蓝天、交相辉映。书院大厅巍峨壮观，门楼保存完好，原有“以文家塾”金色匾额，是清朝翰林院侍讲、大书法家梁同书93岁时所书。西侧有“望湖阁”，卷棚式屋顶，楼窗面临南湖，上挂“湖光山色”横匾一幅，登高远眺，湖光山色，尽收眼底。历史上这里也是官吏文人兴会讲学的场所，曾任清内阁中书汪康年，民国时期驻英、日公使，代理国务总理汪大燮幼年曾经在这里读过书。徽商把读书和做官、经商融为一体，“十户之村，不废育读”，“贾而好儒”是徽商的一大特色。徽州历史上人才辈出，清朝徽州一府六县科举之盛位居全国第二，仅一个休宁县历史上就先后出了13名状元。徽州各地流传有不少科第佳话，如“连科三殿撰，十里四翰林”、“父子宰相”等，以致徽州被称为“东南邹鲁”。徽商注重在家乡对于教育的投资，南湖书院就是其中的一处。书院宽敞明亮，雄伟华丽；选址于宏村风景最秀美的地方，坐北朝南，视野开阔；建筑选材考究，不亚于家族中心――祠堂，如梁柱精选白果、香樟树实木制成，因为有香气可驱除蚊虫，近两百年来没结过蜘蛛网。徽商把村中最美的地方用来建造学校，“最穷不能穷教育，最苦不能苦孩子”的做法，几百年前就在这儿淋漓尽致地体现。他们教育孩子忠君爱民，请来清官良吏给一代代读书人现身说法，明清两朝，西递、宏村读书做官者高达296名，没有一个成为玷污祖宗的贪官污吏。值得一提的还有清光绪年间，康有为、梁启超联合在京参加会试的举子，向光绪皇帝呈上“公车上书”，反对丧权辱国中日“马关条约”，在上书上签名的安徽举子只有八名，而西递、宏村就占了四名。当代著名科学家，澳星发射研制专家之一李小娟等一批著名学者均启蒙于此。1998年南湖书院被公布为安徽省重点文物保护单位。