进入东汉以来，位于当时中国西部和北部广大边疆地区的少数民族，逐渐向气候较温暖和生活资源相对丰富的内地迁徙，中原一些地区出现了多民族杂居的现象。
东汉末年，天下大乱，董卓带着边疆地区的西凉兵进入洛阳城，这是汉室灭亡的重要转折点。
在频繁的战乱中，内地的农业劳动力和兵源都严重不足，一些地方割据者便开始招募周边民族进入边塞，以补充人口。
到了西晋年代，进入内地的民族主要有匈奴、羯、氐、羌等，同时鲜卑族也在边塞附近居住。
当时的汉人习惯将中原以外的民族称为“胡人”，因此，这五个少数民族便被统称作“五胡”。
两汉以来，经过对匈奴持续不断的战争，匈奴的主体部族基本被赶出了中国北方而向西迁徙；其中也有少数余部向南迁移归附汉朝，成为“南匈奴”。
东汉末年，这些南匈奴的后人主要聚居在并州（今山西太原）一带，曹操曾将之划分为五个部，分别派官员监督管理，并且征召了许多匈奴人入伍当兵。
随后又陆续有匈奴人前来。到了西晋时代，并州一带的匈奴人口已超过20万。羯族原来曾受匈奴人的奴役，史称“匈奴别部”，后来居住在山西上党一带。
氐、羌两族的族源较近，经常连称，同源于先秦时期就在中原王朝西面的“西戎”，内迁之后，羌人的力量很活跃。
鲜卑族则在匈奴人远走之后成为中国北方最大的民族，最初进入中原的是该族的慕容鲜卑部，后来则是拓跋和宇文鲜卑部。
众多周边民族跨过边塞，进入内地，与原来的汉族居民杂处而居，但他们作为外来者，并没有获得和汉族居民同等的待遇，所受到的欺压和剥削较一般的汉族百姓更重。
他们中很多人沦为有钱人的奴婢或被迫去服官府的兵役，因此民族之间的矛盾越来越深。
魏晋时期以来，很多有见识的上层人士察觉到这种情况的危险性，曾试图让这些外来民族重新迁回其塞外的原居住地，但一方面，这种人口流动的趋势难以遏止和逆转，另一方面，当时内地社会的发展也确实需要这些人口，所以让他们回迁的设想并未真正付诸实施。
这些受压迫的民族，经常爆发大大小小的起义，其中最活跃的羌人曾多次暴动，而鲜卑人的反抗也持续了很久。
在西晋的“八王之乱”期间，天灾连连，加上官府的重压逼迫，各族流民纷纷起义，其中攻城略地、称王称帝者不在少数，而最后颠覆西晋统治的是匈奴人。
匈奴的首领刘渊（因其先祖冒顿单于与汉公主和亲，故而以刘为姓），其家世代为匈奴统帅，他本人更是文武兼备。
他曾经作为人质在洛阳居住，由此结交了许多汉族士人，后被西晋朝廷任命为总管匈奴五部的大都督。
“八王之乱”中，成都王司马颖起兵，命刘渊率部助战，刘渊便借机号称大单于，后又自称汉王，以继承汉朝正统自居而开始反晋。
晋怀帝永嘉二年（308），刘渊称帝，依然以汉为国号（后其养子刘曜改国号为赵，史称“前赵”）。
到了永嘉五年（311）其子刘聪在位时，攻陷洛阳，俘虏了晋怀帝。历史上称这一事件为“永嘉之乱”。由此，西晋进入覆亡的倒计时。
与刘渊同时建立政权的还有位于蜀中的成汉，后来由“五胡”陆续建立的还有前凉、后赵、前燕、前秦、后秦、后燕、南燕、北燕、后凉、南凉、西凉、北凉、西秦、夏等国，因此统称为“五胡十六国”。
在西晋灭亡前后，中国的北方开始进入了一个历时百余年的大纷乱时期。