第二阶段则是基于太平天国运动，徽州地区由于战乱等原因人口损失严重。1820年徽州府人口数为247.5万，1851年约为290.5万，战争中人口损失约为174.3万，至1865年剩余土著116.2万，算下来徽州人口损失率大约为60％。徽州地区因为人口的减少出现很多空闲的土地，而安庆府地区在太平天国后也时常遭遇洪涝灾害，所以安庆人又开始第二次向徽州地区迁移。自太平天国之后至1949年之前的80余年间，迁入徽州的安庆棚民群体，正是现在黄山市安庆裔居民的祖辈。
这部分安庆人又大部分都是明代江西瓦屑坝移民的后代，因为洪武年间安庆府42万居民有27万来自江西瓦屑坝，至今安庆人当中也有近60%祖籍是来自江西瓦屑坝的。
补充知识点：古徽州还有“九姓渔民”一说，他们多为元末陈友谅及其部下的子孙九姓（陈、钱、林、李、袁、孙、叶、许、何）后裔，终年在新安江流域靠撑船、背纤等苦力为生。
最后简单的总结一下，现在的黄山人主要源自古代中原南渡汉人以及当地原有土著越人，外加近代以来大量安庆籍的江西瓦屑坝移民。
