在洪府里，她虽只是个姨太，但吃穿不愁。未料好景不长，他们成婚不过七年，洪钧就因病去世，赛金花只得离开洪家，去往上海。她租了一处房子，又买了两个姑娘，当起了老鸨。
后来她结识了沪宁铁路段稽查曹瑞忠，也就是她的第二任丈夫，可是这位先生在他们结婚第二年就去世了。也是时运不济，赛金花再次沦为妓女。
1913年，赛金花认识了魏斯炅，彼时的魏斯炅是江西民政厅厅长，但他并没有因为赛金花的妓女身份瞧不起她。
后来他们在北京的樱桃斜街同居，1918年正式结婚，这一次，赛金花终于没有再为妾。她改名魏赵灵飞，以夫家的姓，从姓名中都能看出她是魏夫人了。
可是，这一次，她的丈夫又先她而去，他们相处的时间也并不长。魏斯炅去世时，赛金花已经将近五十岁。旧日的风华早已不再，她也不会再嫁人了。
晚年的她穷困潦倒，靠别人的救济过日子。因着她过去的传奇经历，很多人慕名前来拜访。在她去世后，人们将她葬在陶然亭，张大千为她作画像，齐白石为她题写墓碑。还有很多文人写下了悼念她的诗词文章，可见赛金花在庚子年救国一事可信度还是很高的，不然不会有这么多人怀念她。
赛金花的一生过得不算顺遂，甚至有些凄凉。她先后嫁了三个男人，都先她而去，并未曾留下子嗣。她两度沦为妓女，受尽了世人的嘲讽，但是她却活出了自己的精彩。她是功德千年的女子，一生的飘零半世凄凉，成就的却是一个徽州女人的纯粹。
