宋哲宗元祐元年( 1086) 十月，"改建学于庙之东南隅，置教授一员，令教谕本家子弟。其乡邻愿入学者听，寻添入颜、孟二氏子孙"。颜氏、孟氏子孙正式进入孔子家学学习，三氏学初具雏形。明太祖于洪武元年(1368年)将孔氏家学改为"孔颜孟三氏子孙教授司"。明宪宗成化元年(1465年)，"六十一代衍圣公奏准，颁给三氏学官印"。孔氏家学被正式命名为"三氏学"。明神宗万历十五年( 1587) ，朝廷又"从巡按御史毛在请，添入曾氏，改名四氏学"，改铸四氏学印信，并比照国子监例设学官，特许岁贡生员。孔、颜、孟三氏学扩展为孔、颜、曾、孟四氏学。
很显然，在四氏学的所有经营管理中，无论是学官设置任免，还是生员入学入仕，孔氏家族都处于毋庸置疑的主导地位，显示了孔氏家族与颜、孟、曾氏之间在家族教育上的不平衡性。
孔、孟两府在婚姻缔结上也多有往来。曾有学者统计的孟子五十二代至七十代十二个后裔中，有八个娶孔氏女为妻。两家这种频繁的婚姻关系在诸多文献资料中也有记载，如孔尚先在为孟贞珮写的《墓志铭》中就称:"余与孟氏世讲也，又世姻也"；孔兴琏在为孟贞仁写的《墓志铭》中也称"余与公累世通家"；孔子六十一代孙孔弘干在孟彦继写的《墓志》中也有"孔孟有朱陈之好"的记述。由此可见，孔、孟两家可谓是"世代联姻"了。
此外，孔子后裔也常为孟府人士撰写墓志铭或者为孟府刻立碑石等。
由此可见，孔、孟两府在政治实践中，孟府多以依附于孔府而存在，之所以出现这种状况，更根本的原因在于——孔子与孟子，作为开创者与后继者的历史地位的不同。
正所谓"邹鲁斯文同一脉，古今乔木第三家"，孔、孟两府的密切联系固然有政府刻意而为之的因素，更多的则是两家深厚情谊的具体体现。
