潘祖荫故居南石子街5、6、7、8、10号，2003年被列为苏州市控制保护建筑，曾是清光绪年间军机大臣潘祖荫和其弟潘祖年的住宅，此宅的主人是潘祖荫的伯父潘曾莹。道光十四年（1834），潘曾莹的父亲，也即潘祖荫的祖父——历任乾隆、嘉庆、道光、咸丰四朝高官的状元宰相潘世恩，得到御赐圆明园宅第的恩赏。后潘曾莹将南石子街旧居，特仿其父潘世恩京城御赐宅第格式，改建为坐北朝南的大宅。宅分三路五进，中路各进皆为楼屋，两侧厢房走廊，连通为走马楼式，其间庭院宽敞。第四进楼面阔三间带两隔厢，宽约16.2米，进深13.9米，高约10米，扁作梁，装修精致。
