不仅由于战争、社会动荡的原因使潘祖荫、潘祖年兄弟的收藏大量散佚，世谊、亲姻之间的索要、馈赠等，也是不断散佚的一个不可忽视的原因。著名收藏家、画家吴湖帆收藏的一些重要珍贵文物，如欧阳询的《化度寺塔铭》、《九成宫醴泉铭》、《皇甫诞碑》以及清帝御赐的玉华砚等，便是潘祖年的小女儿潘静淑嫁与吴湖帆时从娘家带来的重要藏品。
19-20世纪上半期，是潘氏家族收藏活动的活跃时期，潘家收藏的典籍文物，历经100余年的兵火战乱，一些藏品因为战火的蔓延在人间永远地消失了，同时由于战争和社会动荡，也使潘家缺少足够的财力用于文物典籍的收藏、保护、研究和利用。潘氏家族收藏文物典籍的遭遇是中国近一两百年以来文物典籍所面临命运的一个缩影。
新中国成立后数次捐赠国藏
新中国成立后，随着新的社会条件的变化，许多私家收藏的历代文物典籍已经不可能为个人所有，大多通过被捐献、被征集的方式为国家所有，成为国家专门文化机构、收藏机构的收藏。自1951年起，在不到20年的时间内，潘氏家族经过数次文物捐赠活动，几乎将所有家藏的文物典籍都转化为国家所有的重要藏品。
上世纪50年代初，潘家开始分批大量捐献家族收藏的文物，包括古籍、青铜器、书画、工艺品等。如潘景郑先生，他在上海文物管理委员会主任徐森玉的鼓励下，将历经劫难存留下来的大量剩余珍贵古籍捐赠给了上海历史文献图书馆（今上海图书馆），所藏六朝、隋唐墓志、六朝造像、宋辽金元经幢以及汉砖瓦、唐代残石、唐代井栏拓片等，则悉数捐赠苏南文管会。
潘博山的夫人丁燮柔则将家藏青铜器、书画等文物典籍捐赠给了上海博物馆、南京博物院等单位，西周恭王时的师遽方彝、春秋鲁国之鲁伯禽鬲，都是潘博山的重要收藏，丁燮柔最终也将他们捐赠给了上海博物馆，成为上海博物馆非常重要的青铜器藏品。1959年潘达于曾同丁燮柔一起向南京博物院一次捐赠明清书画161件。
弘仁《山水卷》
潘达于在新中国成立后多次向国家捐赠缄藏文物，她的捐赠在潘氏家族的捐赠中最为人们所称道。1951年7月，潘达于致函华东军事委员会文化部，要求将大克鼎、大盂鼎捐赠国家。华东军事委员会文化部接受了她的捐赠要求，大克鼎、大盂鼎被捐赠给政府收藏。
大克鼎目前保存在上海博物馆，成为上海博物馆的镇馆之宝，大盂鼎则被上调中央，成为中国历史博物馆的重要藏品。其后，潘达于又陆续捐出了大量藏品，如1956年捐赠的99件字画、1957年捐赠的150 件字画等。上海博物馆收藏的沈周《西湖名胜册》、弘仁《山水卷》、倪元璐《山水花卉册》等，都来自潘达于的捐赠。新中国成立后，潘达于将自己精心保藏的祖传文物典籍悉数捐赠给国家收藏，终于为它们找到了最妥当的归宿。
在潘达于向国家的历次捐赠中，南京博物院也接受了潘达于为数不菲的祖传文物藏品，仅1959年（与丁燮柔共同捐赠）、1961年两次捐赠即达 163件之多。潘达于先生所捐南京博物院藏品主要包括书法、绘画、木刻古籍以及美术工艺品等，其中以捐赠的明清书画藏品最为主要。比较著名的作品如明无款《明人肖像图册》、明恽向《山水册》（11页）、清胡淦《吴中七老图》手卷、吴昌硕《菊花》以及吴云、著名指画家瑛宝等人的作品等。
潘达于家族旧藏 《明人肖像图册》陶虎溪像
这批绘画藏品，尤以明无款《明人肖像图册》最为珍贵。此画册共绘明代 12位政府官员、缙绅的头像，这12幅肖像画作品，是明后期人物画、肖像画的重要代表，在中国人物画史、肖像画史上具有重要的地位。
画册中，著名书画鉴赏家、《六砚斋日记》、《味水轩日记》、《竹懒画媵》的作者李日华、大写意花鸟画的重要开创者徐渭亦在其中。正是本册留影，为后世留下了中年徐渭的形象。此件作品为民间画工所作，虽然不知道画家的名字，但从这一作品所表露出的精湛艺术才华，不能不让人惊叹明代后期人物画、肖像画领域所获得的重大成就。
潘达于家族旧藏 《明人肖像图册》李日华像
潘达于捐赠南京博物院的清代画家胡淦创作的《吴中七老图》，也是堪为瞩目的一件藏品。此画为群体肖像，绘制了缙绅文士游宴、进行文事绘画活动的情形，将清代晚期活动在苏州的著名缙绅、文士方錡、李鸿裔、曾玮、沈秉成、吴云、顾云彬、钝舫等人的形象纳入画面，以图像的形式形象地记录了苏州当时的社会情貌，为我们了解当时的社会状况、吴中士大夫文人的精神风貌提供了难得的第一手图像资料。
潘达于捐赠南京博物院的明清书法作品，大致可分为三类：一类为清代著名书法家的作品，如刘庸、翁方刚、梁同书、吴让之、杨沂孙、赵之谦、吴昌硕等人的作品；第二类则为与潘世恩、潘祖荫等或有世谊、或为部属关系的一些缙绅官员的作品，如曾国藩、李鸿裔、李文田、吴大澂等人的书法作品；第三类为潘氏家族的书法藏品，在捐赠品中占有相当的分量，如潘奕隽、潘世恩、潘世荣、潘祖荫、潘曾莹、潘祖闰等家族数代的书法作品等。
潘氏家族的文物典藏历经艰难保存下来确实殊为不易，既要避开历次战祸、逃避政府实力派人物的威逼抢掠，又要拒绝西方人不惜一切手段的强行购买以及日本侵略者的劫掠……但这批藏品终于幸存下来为国家和人民所有，不能不说是不幸中的万幸。
潘达于在将近三四十年的时间内，精心保护、收藏我国重要的历史文物，将它们妥当地捐赠国家永久收藏保存，在当时确实起到了专职文博人员应尽的职能，典藏、守护住了中华民族文化的底线。
