南北朝时期，南北方边界随着时间的推移基本上是逐渐向南移动，从刘宋王朝初期的以黄河为界，南移到南梁前期的以淮河为界。双方主要围绕淮河一线的军事重镇展开混战。这些重镇从东往西分别是淮阴、钟离、寿阳和义阳四处。此外，西边的南郑是南方保护巴蜀大地的屏障，南北方在此也展开拉锯。南方的淮河防线在南齐末期遭到了动摇，驻扎寿阳的南齐豫州刺史裴叔业怕萧宝卷杀害，率军向北魏上表归降。彭城王元勰和重臣王肃亲自领了十万大军去接收寿阳，南方的淮河防线被撕开了一个口子。北魏军队依托寿阳，不时对南方发动打击，让新建立的南梁头疼得很。梁朝建立后，北魏兴起了一股讨伐南方的声音，其中叫得最响亮的是两个投降的南方人。第一个人是萧宝夤。
萧宝夤是个值得大书特书的人物，他是齐明帝萧鸾的第六子。萧宝夤也是南齐宗室中少数几个才能卓越的王爷。萧衍攻占建康后，起初并没有为难萧宝夤，还封他为鄱阳王。不久，萧衍陆续诛杀南齐诸王。萧宝夤被萧衍的军士监守，随时可能遇害。一天半夜，萧宝夤带这几个亲随偷偷挖开院墙逃跑了。萧宝夤换上底层百姓的衣服，穿着草鞋，徒步赶往长江边，坐上了准备好的小船逃跑。萧宝夤装做钓鱼的人，任凭小船随波逐流，在江面上漂了十余里，骗过了追兵。之后，萧宝夤冒着生命危险，走小路、躲山涧、骑毛驴，终于到达北魏控制下的寿阳。镇守寿阳的北魏任城王元澄知道萧宝夤是块宝，以礼相待。萧宝夤因为亡国，不饮酒，不吃肉，寡言少笑，十分悲痛，还身着丧服。元澄就率领北魏官僚前往赴吊——之前北魏都称南齐为“岛夷”或者“齐逆”，如今觉得齐国有利用价值了，又佯装悲痛前来吊唁了。第二年，萧宝夤来到京城洛阳。宣武帝对他很礼遇。萧宝夤上朝时伏地痛哭，诉说南齐亡国之痛，请求北魏出兵讨伐萧衍。北魏内部对南征有分歧，没有当面答应。萧宝夤就再三苦求，即使遇有狂风暴雨也不中断上朝请求。
第二个坚定要求南伐的人是陈伯之。此人的经历也相当传奇。如果说萧宝夤是出于亡国之恨要求南征的话，那么陈伯之就想借南征来向北魏王朝表忠心。因为他是个投降的南梁将领。
陈伯之本是南齐的豫州刺史，被萧宝卷派去寻阳抵抗萧衍。萧衍派人劝他投降。陈伯之在萧宝卷和萧衍之间观望，直到建康大势已去才正式向萧衍投降。萧衍对他委以重任，封他做征南将军、江州刺史。陈伯之出身贫寒，大字不识一个，处理公文都需要手下念给他听，这些人中难免有人会借机假公济私的。萧衍知道后就很担心，一来，陈伯之不是嫡系；二来，江州官吏坏事做得太多了，等到激起民怨时就不好了。所以，萧衍就派人去取代陈伯之自己任命的江州别驾邓缮，本来只是敲打一下，但陈伯之及其亲信却将此事看得很重，以为萧衍要动手了。于是，陈伯之召集文武官员，拿出事先伪造的萧宝夤的书信，说要和萧宝夤一起“反梁复齐”。但江州所属的豫章郡太守不愿跟从陈伯之造反，率本郡军民抗命。陈伯之决定先出兵攻下豫章，以绝后顾之忧，再顺江而下进攻建康。但陈伯之一时间没能攻下豫章，萧衍早已经派出大军逆江而上逼近陈伯之老巢寻阳了。陈伯之腹背受敌，无心恋战，带着亲信和部队一万多人北上投降北魏了。
陈伯之坚决主张南征。他有军队，又了解南方军政实情。宣武帝元恪封萧宝夤为齐王，任命为镇东将军、扬州刺史，率领一万兵马进驻寿阳，又任命陈伯之为平南将军、江州刺史，屯兵阳石，做好南征的准备。
公元503年秋，北魏大举南征，其中东路以任城王元澄为主帅，率领萧宝夤、陈伯之等部进攻钟离；西路以镇南将军元英为主帅，进攻义阳。
北魏进军顺利，东路的元澄分兵出击，成功占领东关、颍川、大岘、焦城、淮陵等八座城池，以主力围攻重镇钟离；西路的元英则将义阳团团围住。东线魏军分兵出击，导致后方寿阳兵力空虚。南梁将军姜庆率领偏师，深入敌后，一举攻克寿阳外城。但姜庆的兵力有限，无力再进攻内城，在外城停顿了下来。附近的萧宝夤的军队及时赶来增援。攻入寿阳的姜庆部队反而陷入了包围圈，激战一日，落荒而逃。
在东路，萧衍派冠军将军张惠绍救援钟离。张惠绍在邵阳洲一带遭到北魏平远将军刘思祖的拦截，张惠绍等十余名将领被擒。到了第二年春夏之交，淮河流域降雨增加，水位暴涨，攻打钟离的魏军无法驻扎，只好撤还寿阳。东路梁军侥幸摆脱了危局。在西路，萧衍派平西将军曹景宗、后将军王僧炳率兵三万救援义阳。元英获知梁军行踪后，派将军元逞等人在樊城阻击王僧炳的梁军前锋。两军交战，梁军大败。曹景宗听说前锋挫败，只在外线游弋，不敢靠近义阳。义阳城内，梁朝的司州刺史蔡道恭率领不满五千守城官兵，已经坚持了大半年时间，打退了魏军一次又一次的进攻。魏军死伤不计其数，元英开始打退堂鼓了。谁知，蔡道恭突然病逝。元英下令猛攻义阳。南梁守军弹尽粮绝，把所有希望都寄托在建康方面的援军身上了。这个援军自然不是曹景宗的部队，而是萧衍新派出的宁朔将军马仙琕。
马仙琕是南方名将，被世人看做三国时期的关羽、张飞。可惜的是，马仙琕谋略不足，一味贪功冒进。元英在义阳城东埋伏主力，再派小股军队出阵向马仙琕示弱。马仙琕以为魏军不堪一击，直扑元英。元英佯败，率部北退，引诱梁军钻入包围圈后忽然掉转马头，发出信号。只见漫山遍野的魏军同时杀出，向梁军涌来。马仙琕虽然拼死抵抗，无奈准备不足、军心涣散，大败而逃。内外交困的义阳守军见状，失去了抵抗的意志，开城投降。周边梁朝关隘的守军，闻讯纷纷弃地而逃。梁朝在淮河防线的西段完全崩溃，失去了所有现在河南地区的领土，不得不在湖北地区组织第二道防线。