学者论证“图”的设置始于元代，依据史料主要有二：一是嘉靖《萧山县志》载：“改乡为都，改里为图，自元始。明兴，因元之制，今之都里亦稍异于昔”；“元世祖至元十六年，改绍兴府为绍兴路，（萧山）县隶之，领都凡二十四、图凡一百五十七。”二是杨维桢《送经理官成教授还京序》载：洪武元年济宁路教授成彦明被派往松江府经理田亩，“分履淞之三十八都，二百一十五图”。《萧山县志》初修于嘉靖二十二年，续修于嘉靖三十六年，是目前所见元“改里为图”的最早记录，但嘉靖四十年修《浙江通志》载元世祖至元十三年（1276）改绍兴府为路，并未提及元代“改里为图”之事。此后的一些方志，诸如万历《绍兴府志》《会稽县志》、民国《新昌县志》等载“元改里为图”，均是沿袭《萧山县志》的说法，未见一处元代史料有此记载。《送经理官成教授还京序》中“二百一十五图”的记载仅见于《四部丛刊》本《东维子文集》《四库全书》本《东维子集》则记为“分履淞之三十八都，二百一十五围”。侯鹏，认为：“宋元以来苏松地区的围田都是被登记于保之下，并未见‘图’的设置……华亭县的经理土亩是以宋元以来形成的堡（保）、社等组织进行的。因此，四库本的记载应更符合事实。”可以说，学界关于“图”始设于元代的论述，均缺乏充分的资料支撑。
“图”在明代作为一级乡村组织，与黄册里甲制度密切相关。栾成显曾指出，明代江南许多地方都图与都保并存，其中都图以人户划分为主，属黄册里甲系统；都保则是以地域划分为主，属鱼鳞图册系统。明代黄册里甲制度起源于洪武三年小黄册之法的试行。小黄册之法中，不仅初步建立了里甲制度的基本框架，还同时出现了“图”。《吴兴续志》中载：“（洪武三年）编置小黄册，每百家画为一图。” 之前学界并不清楚此处所云“画为一图”的具体含义，大都将其理解等同为编为一里。而小黄册中，明确可见每里人户前均有100户人员构成的“里长甲首轮流图”， 此“图”应即《吴兴续志》中“每百家画为一图”的“图”。此图为赋役黄册所继承，如《明太祖实录》载“洪武十四年黄册”之法云：“每里编为一册，册之首总为一图”， 嘉靖《香山县志》载：“里甲之制，洪武十四年始诏天下编赋役黄册，以一百一十户为一里，同一格眼，谓之一图”， 其中所云之“图”均应指“里长甲首轮流图”。清代黄册中仍有此图，王梅庄《清代黄册中之户籍制度》一文曾引用顺治十四年（1657）至十八年“山西大同府蔚州编审黄册”：“每里之前并附印就图表，注入里长及甲首姓名，嗣后各朝概无此式。” 王氏文中所云的“印就图表”， 竺沙雅章也曾引录，形制与小黄册中“里长甲首轮流图”基本相同。
