我国现行的地方行政制度，以省级单位为一级行政区。这一制度源自金元明清以来的行省制度。
我们现在对中央管省、省管县市已经习以为常，认为这只不过是近世以来应社会发展需要才自然而然地生发出来的制度。事实上，富有智慧的中国古人，早在魏晋南北朝时代就已经探索出一种相近的行政区划制度：行台制度。
这种制度的内核与现在的省极其相似，只不过因为理念太过超前，最终又湮没于历史长河之中。
一、精细化行政管理对秦汉体制的挑战
战国末期各国普遍推行郡县制以来，封建国家的地方行政区划分，一直是郡（国）、县这样的体制。秦朝时天下三十六郡，汉亦相当。
秦朝关中三郡
这种行政体制下，中央直接面对的地方一级行政区非常多，管理上很难实现多么精细。因而秦汉时代地方行政区的治理模式一直有着相当大的自治成分。地方上的郡守、县令具有非常大的权威，郡守职级甚至可以达到二千石，和宰相秩级相当。这是加重地方官员身份，以实行区域化自治管理的政治安排。
到了东汉中后期，监察性质的刺史部逐步演变为固定的州一级单位，国家行政体制变为州郡县三级模式，州一级单位隐隐有了后世省级单位的影子，但是持续了不长时间，便在汉末三国时期被迅速消解，州的数量开始泛滥增多。
为什么会有这样的变化呢？
一是随着时代的进步，中央对地方控制的领域越来越广，越来越深入，监察、司法、官员任免、兵员征调、徭役赋税乃至于文教事业，中央管理的面很大，那种粗疏式的管理模式不再适用。因而呼唤一种非常健全的、能够帮助中央分担管理职能的高级行政机构。
二是统一思想的深入，对地方自治形成了压制。秦汉郡县体制之下，郡县的自主权非常大，并不需要事事仰承诏旨。西汉景帝时诸侯国生乱，郡国的主官可以自主地发兵镇压。这其实是先秦时代天子与诸侯封建天下思想的遗存。
过多地放权给地方，容易造成叛乱。故而封建王朝需要创造一种新的中央管理机构，在地方行使强有力的镇抚管理职能。
三是豪族势力的出现，对中央权威构成严重挑战。豪强势力在东汉开始形成，当然有人说西汉的游侠也是豪强势力，从概念上说可以说也是一个类别，但是成规模的、有家族传承的豪强、世家，正是在东汉才形成规模。像汝南袁世、弘农杨氏、陈郡谢氏、太康陈氏等等，都开始形成根深蒂固的地方势力，他们把持了地方政治资源，郡县级单位基本上控制不了他们。这更需要中央派出有力机构以翦抑豪强势力。
二、魏晋行台的萌芽与壮大
基于以上这些形势，三国两晋时代中央开始逐步出现了行台。
公认最早的行台出现于魏高贵乡公曹髦时代。据《通典》卷22《行台省》记载：
“行台省，魏晋有之。昔魏末，晋文帝讨诸葛诞，散骑常侍裴秀、尚书仆射陈泰、黄门侍郎钟会等以行台从。”
这个行台，本意是行尚书台，也就是中枢机关尚书台的机动派出分支。司马昭到淮南镇压诸葛诞叛乱，带领部分中央尚书台官员，组成一个前线指挥机关，行使的是中央职能，其权力所统，大概包括淮南一带郡县的所有军政事物。
三国对峙全图
从中我们可以看出几个类似于后世的特点：
其一，权威高，级别高，可以统摄所有州郡县。
其二，具有方向性，统管一个大区域内的事务。
但更多的是不同点，曹魏的行台带有浓郁的军事性，其重点职能是统管淮南战区的战争事务，军事任务结束之后立即罢废。这也是后来相当一个时期行台的突出特点。
西晋时也设置过不少行台，但这种行台更多是皇权播难、中枢混乱情况下，中央尚书台迫不得已设置的临时机构。例如永嘉之乱时，东海王司马越、幽州刺史王浚乃至琅琊王司马睿都相继擅自组建代表中央的行台，行使过一个方向的统治权，但其真正用意是另立中央。
东晋庾亮主政时期，因为处理流民帅政策失当，激发了苏峻、祖约的叛乱，建康台城被叛军攻破，庾亮出奔后联合温峤、陶侃等人联兵平叛。
引发苏祖之乱的庾亮
当时东晋成帝已被叛军俘获，中枢政权被瓦解，温峤提议建立了行台，用以指挥诸州联军。这个行台的军事意义更加浓厚，是故后来苏峻之乱平定后也立即罢废。
总体上看，魏晋时期出现的行台，虽然具有非常典型的临时机构特征，并且大多数情况下是用于军事指挥的，但这个制度的出现，对中央下属行政区划的设置，作出了一种新的尝试，它并没有回到东汉十三州的统治模式上，而是有事设立、无事罢废，其目的只是解决一个方向的军政问题。
这体现了国家行政什么样的趋势呢？
一方面，传统的中央定原则、地方抓自治的模式已经越来越难以维持，魏晋以来地方精细化管理的趋势更为突出，中央不敢再进行粗放式管理，而必须在制度上进行更改补益，才能适应越来越重的统治任务。
另一方面，魏晋政治传统仍然笼罩在秦汉旧的思维模式中，中央仍然赋予地方很大自治权力，没有真正走出窠臼，探索适应时代特点的政治制度。
三、北朝行台的扩大与固化
五胡十六国时期，北方诸国林立，对地方行政制度又带来了新的形势变化。
其一，行政区域逐渐破碎化。除了后赵、前秦曾短暂统一北方，其他胡族小国均处于多家对峙状态。关中、河东、河北、中原、山东乃至淮北，时常被对峙的各国分而据之，原有的相对稳固的行政区域被分割，这也意味着原有的行政体制无法控制辖区。
以河南为例，后赵、前秦时代，河南中北部被北方政权控制，南部沿淮则属于东晋南朝地盘。而当燕、秦、晋三家对峙时，河南又被一分为三。各个国家不得不把各自控制的河南区域，并入其他地理单元进行管辖。比如河南北部，有时被划入兖州（传统意义上属于山东地理单元），有时被划入司州（属于河洛地理单元），有时甚至还被划入邺城的势力范围（属于河北地理单元）。