破碎化的行政单元如何进行统合，这就要求必须有强力行政机构，依靠既往的州郡无法行使这样的职能。十六国时期便应运而生，沿袭魏晋制度设置了行台。
东晋十六国形势
此时的行台赋予了新的行政意义。比如后赵石勒在洛阳设置的行台，其意义在于代表中央加强对河洛地区的管辖，防范晋室残余势力反扑洛阳一带。
前燕进入河北后，其原都龙城统治势力减弱，慕容俊便在龙城设立留守行台，以玄莬郡守为留守行台尚书，总管后留事务。后燕时期，慕容垂在蓟城设立了行台，主要目的也是加强幽州一带防务，因为北部的鲜卑拓跋部已经兴起，逐渐蚕食了代北和冀并北部一带。
我们可以鲜明地感觉到，十六国时的行台已经变了味儿，不再是军事统御机关，而是代表中央镇守一个重要方向的行政机关。这是行台制度史上的一个重要质的变化。
即使北魏完成对北方的稳定统一后，北魏政府仍然不得不倚靠行台制度来加强对地方的控制。北魏道武帝先后在中山、邺城设置了行台。据《魏书·道武帝纪》载，置行台于邺，原因是“帝至邺，巡登台榭，遍览宫城，将有定都之意”，也就是说，派出行台的目的，是要把后燕的旧都进行整治，并对后燕遗民和残余政治势力进行弹压镇慑。
对中山则另有用意，“帝虑还后山东有变，乃置行台于中山，诏左丞相、尚书令、卫王仪镇中山”，道武帝担心后燕人在河北两度立国，自己班师回平城后恐怕会有人发动叛乱，因此才派出一个由宗室、重臣领衔的行台。
中山行台和邺城行台，管辖的范围大概就是后燕的故境，这两个行台，实际上就是两个省级单位，把刚刚吞并的敌国国土进行划区管治。从效果上看，道武帝这个措施是相当不错的，河北在短时间内迅速纳入北魏的管理体系，并成为北魏向中原进军的稳固后方基地。二十多年后刘裕北伐经过河北南部，此地的军民都坚决拥护北魏的统治，一致对抗南朝军队。
北魏中期行台制度一度废除。但到了6世纪初，随着各地起义逐渐增多，以及梁朝不断北侵，以及地方行政区进一步析分化，北魏中央无法有效统驭各地，不得不再次恢复行台制度。
六镇起义主要爆发于代北、河北与陇右，南梁的侵略方向主要集中在淮北和河南南部，因而北魏的行台也主要设置在这几个方向，据不完全统计，北魏自起义爆发至灭亡，共派出过142次行台。最终划下来的行台有8个行台区，分别是关西行台，并州北道行台，晋州行台，冀相定行台，荆州行台，豫州行台，徐州行台，梁益山南行台。
其中关西行台的主要功能是绥抚关中和陇右，以及与宿勤明达、万俟丑奴义军作战，并、晋两个行台主要是管理河东，当然也担负一定安抚流民的职能。冀相定行台处于六镇大起义的核心区，荆、豫、徐、梁益4个行台，则是统管南方诸州郡的机构，兼理对梁战争。
这样的区域划分，与现在的省际区域，其实已经很相近了。可以说，行台制度此时已经进化到相当程度，已经能为中央分担很大管理职能。北魏中央对行台官员的作用，也逐渐由中央尚书派出，转变为地方州郡主官升任。这是行台制度地方化、固定化的一个主要标志。
当然，行台在演进过程中有这样那样的特点，与后世行省不尽相同。比如说行台长官品级不固定，有时其职级尚不如地方州刺史的官位高，但行台因为代表皇帝权威，可以以较低级别的官员，统管高级别的地方官员。这是后世行省制度的渊源，也是增加地方一级行政区的要旨所在。
北魏分裂为东魏西魏后，东魏北齐全盘继承北魏政治制度，行台区更加成熟和固化，完成了临时派出机构向地方行政区机构的转化。东魏北齐既有因战事临时设置的军事行台，也有辖区稳定的行台。
其中较为稳定的大致有9个，分别是晋阳行台（驻节晋阳，今山西太原）、幽州东北道行台（蓟城，今北京）、朔州北道行台（马邑，今山西朔州）、山东（河北）行台（中山，今河北定州）、晋州行台（平阳，今山西临汾）、河阳道（河南道）行台（洛阳）、豫州行台（悬瓠，今河南汝南）、东南道行台（彭城，今江苏徐州）、扬州道（寿阳道）行台（寿阳，今安徽寿县）。
可以看出，除了晋阳、朔州、晋州三个行台军事色彩相对浓重一些，其他的都是各大地理区域的行政中心，相当于东魏北齐的一级行政区，担负着管理州一级单位的职能。
隋朝统一后，一度因为战事较多，也设置了行台省。隋开皇年间，为了伐陈，共设置了 5 处行台省，即河北道、河南道、西南道、山南道、淮南道行台省。但战事平定后就立即罢去了行台。
唐武德年间，共建立有6处行台省，有东南道、显州道、益州道、陕东道、河北道、襄州道行台省。但是随着唐朝的完全统一，行台又遭到了全面罢废。
后来唐朝设置的道、宋朝的路，都有一定省级单位建置的用意，但其职权范围和官员稳定度都远不如行台，究其原因，大一统王朝基层行政结构相当稳固，统治者不愿假权于人，对行台这种较大区域的行政长官怀有一种莫名的恐惧。因而道、路等单位，都被朝廷极度分化牵制，使其无法专掌一方之政，只是在管理层级上为中央分担一定压力。
后来到了金朝，远绍北朝的行台制度，设置了一些行省，元朝在金朝行省制度的基础上结合本民族的特点建立新一级地方最高行政机构—行省，从而开启了近代中国省制长达七百年的历史，影响到明清甚至今天我国的地方行政体制。
