魏孝庄帝元子攸为避陈庆之锋芒，被迫撤至长子(今山西长子西)。元颢遂入洛阳，魏临淮王元彧、安丰王元延明率百官迎元颢入宫。元颢改元大赦，以陈庆之为侍中、车骑大将军、左光禄大夫，增邑万户。不久，上党王元天穆、王老生、李叔仁又率兵4万攻克大梁，并分遣王老生、费穆进据虎牢，刁宣、刁双入入梁、宋。陈庆之闻后，率军掩袭，魏军皆降。元天穆率十余骑北渡黄河而逃，费穆攻虎牢，将克，忽闻元天穆北逃，自以为无后继，遂降于陈庆之。陈庆之又进击大梁、梁国，皆克之。梁武帝闻讯后，再次亲书诏书进行嘉勉。陈庆之和部下皆穿白袍，一路上所向披靡，所以洛阳城中童谣曰：“名师大将莫自牢，千兵万马避白袍”(《梁书·陈庆之列传》)。陈庆之又以7000之众，从铚县至洛阳，前后作战47次，攻城32座，皆克，所向无前。
时镇守晋阳(今山西太原西南)的魏天柱将军尔朱荣闻魏帝元子攸北逃至长子，便率军而至，魏帝即日南还，并以尔朱荣为前锋，攻夺洛阳。尔朱荣与尔朱世隆、元天穆、尔朱吐没儿、高欢率鲜卑、柔然等大军相继而至，众号百万。
当初魏帝单骑北逃时，宫内的侍卫和嫔妃都没有带走。元颢得志后，荒于酒色，不理朝政。闰六月，元颢暗中和临淮王元彧、安丰王元延明勾结，准备叛梁。因见时机尚未成熟，还要借助陈庆之之力，所以外同内异，言多忌刻。陈庆之也心中自知，暗自策划对策。他对元颢说：“今远来至此，未伏尚多，若人知虚实，方更连兵，而安不忘危，须预为其策。宜启天子，更请精兵；并勒诸州，有南人没此者，悉须部送”(《梁书·陈庆之列传》)。元颢听后觉得有道，便想从之。时元延明却对他说：“陈庆之兵不出数千，已自难制；今增其众，宁肯复为用乎？权柄一去，动转听人，魏之宗社，于斯而灭”(《梁书·陈庆之列传》)。元颢因此开始猜忌陈庆之，渐渐疏远他。考虑到陈庆之会密奏梁武帝，便抢先上书说：“河北、河南一时已定，唯尔硃荣尚敢跋扈，臣与庆之自能擒讨。今州郡新服，正须绥抚，不宜更复加兵，摇动百姓”(《梁书·陈庆之列传》)。于是梁武帝诏令都停在边界地区。
时候在洛阳城中梁不足万人，而魏军则十倍于梁军。军副马佛念劝陈庆之自立，对他说：“功高不赏，震主身危，二事既有，将军岂得无虑？自古以来，废昏立明，扶危定难，鲜有得终。今将军威震中原，声动河塞，屠颢据洛，则千载一时也”(《梁书·陈庆之列传》)。但陈庆之不从。
元颢先前曾任命陈庆之为徐州刺史，陈庆之便坚持去徐州赴任。元颢心中忌惮，始终没有放行，并对陈庆之说：“主上以洛阳之地全相任委，忽闻舍此朝寄，欲往彭城，谓君遽取富贵，不为国计，手敕频仍，恐成仆责”(《梁书·陈庆之列传》)。陈庆之闻后，遂不敢再言。
元颢据洛阳六十五天，所得之城闻尔朱荣大军至，一时全部归魏。尔朱荣率军南下与元颢军隔黄河对峙。陈庆之守北中城(今河南孟县附近)，元颢据守河桥南岸。陈庆之与魏军三日十一战，杀伤甚众，尔朱荣准备退军。不久，尔朱荣用部下之计，遣车骑将军尔朱兆与大都督贺拔胜缚木筏，自马渚西硖石夜渡，袭击元颢军，元颢领军将军冠受被俘。元颢守河防的部队闻讯溃退。元颢仅率数百骑逃走。至临颍(今河南临颍西北)，其部卒皆散，元颢被擒杀，洛阳为魏军所占。尔朱荣率军南攻，陈庆之收容步骑兵数千人结阵东撤。尔朱荣军追击，至嵩高(今河南登封北)时，因河水上涨，山洪暴发，梁军士卒死散殆尽。陈庆之只好剃除须发，化装成僧人，抄近道回豫州，在豫州人程道雍的帮助下，回到建康。
陈庆之攻魏的作战虽因孤军深入，后援无继，而以失败结束，但这不能因此否定陈庆之的军事才能，陈庆之仅以7000之众北伐，连克魏军，以少胜多，占领了洛阳等30余城，自古用兵未之有也。所以梁武帝在陈庆之回建康后，仍封他为右卫将军，永兴侯，邑一千五百户。此战以后，北魏国力大衰，大权握在尔朱氏手中。中大通四年(532年)，高欢诛杀尔朱氏，夺取北魏朝政大权。中大通六年(534年)和七年(535年)，高欢和宇文泰先后立元善见和元宝炬为帝，史称东魏和西魏，北魏从此灭亡。
陈庆之南归后，特尊重北人，朱异觉得奇怪，便问他，陈庆之说：“吾始以为大江以北皆戎狄之乡，比至洛阳，乃知衣冠人物尽在中原，非江东所及也，奈何轻之”(《资治通鉴·卷第一百五十三》)
十二月，梁武帝以陈庆之为持节、都督缘淮诸军事、奋武将军、北兖州刺史。时有妖僧僧强自称天子，土豪蔡伯龙也起兵与之相应，众至3万，攻陷北徐州。济阴太守杨起文弃城而逃，钟离太守单希宝被害。梁武帝诏令陈庆之前去征讨，并亲自临白下城为其饯行。梁武帝对陈庆之说：“江、淮兵劲，其锋难当，卿可以策制之，不宜决战”(《梁书·陈庆之列传》)。陈庆之受命而行，未到十二天，便斩蔡伯龙、僧强，传首建康。
中大通二年(公元530年)，梁武帝以陈庆之为都督南、北司、西豫、豫四州诸军事、南、北司二州刺史，其余如故。陈庆之到任后，遂围悬瓠(今河南汝南)，破魏颍州刺史娄起、扬州刺史是云宝于溱水，又破行台孙腾、大都督侯进、豫州刺史尧雄、梁州刺史司马恭于楚城。陈庆之随即减免了义阳镇的兵役，停止水运补给，使江湘诸州得以休养生息。并开田六千顷，二年之后，粮食充实。梁武帝为此经常嘉奖陈庆之。同时又陈庆之又表请精简南司州为安陆郡，置上明郡。
大同元年(公元535年)二月，陈庆之攻东魏，与东魏豫州刺史尧雄交战，因不利而还。
大同二年(公元536年)十月，东魏定州刺史侯景率7万人寇楚州，俘楚州刺史桓和，侯景乘胜进军淮上，并写了信劝陈庆之投降。梁武帝遣侯退、侯夔等前去增援，军至黎浆，陈庆之已击破侯景。时值大寒雪，侯景弃辎重而逃，陈庆之则收其辎重而还。同年，豫州闹饥荒，陈庆之开仓放粮济灾民，使大部分灾民得以度过饥荒。以李升为首的800多名豫州百姓请求为陈庆之树碑颂德，梁武帝下诏批准。
大同五年(公元539年)十月，陈庆之去世，时年五十六岁。梁武帝以其忠于职守，战功卓著，政绩斐然，追赠他为散骑常侍、左卫将军，鼓吹一部，谥曰“武”，还诏令义兴郡发500人为其会丧。长子陈昭嗣。
