赵匡胤取代后周后，改国号为宋，即为宋太祖，建都对梁（今河南开封），改元建隆。赵普有辅佐拥戴大功，授右谏议大夫，充枢密直学士。
宋朝取代后周，基本上是以不动干戈的平和方式。为了进一步稳定政权，赵普支持宋太祖对后周旧臣采取诱之以官爵的措施，使他们改奉宋朝，于是京城迅速安定。但即便如此，领兵在外的一些地方官员仍然倚仗手中重兵，据有数州权势，不甘心降宋，采取与宋对抗的行为。
赵匡胤石像
建隆元年三月，盘踞在晋南的昭义节度使李范，联合北汉，率先起兵反宋。宋太祖决定亲率大军出征。赵普认为这次出征事关重大，对稳定局势、巩固宋朝初建政权具有重要政治意义，请求随太祖亲征。太祖笑道：“你能胜任打仗的事么？”当大军到达荥阳时，赵普向太祖建议乘敌不备，迅速出击。宋太祖采纳了赵普的意见，加快进军速度，一举攻克泽州城。李筠投火自焚而死，其子李守节投降宋朝。平定李筠后，赵普因功被任命为兵部传郎、枢密副使，赐第宅一区。八月，扬州的后周淮南节度使李重进又起兵反宋。宋太祖作了周密的军事部署后，于十月亲率大军出征。出征前，宋太祖问赵普征讨扬州之策。赵普认为，李重进虽然据有地形和防御工事方面的优势，但“士卒离心”、“外绝救援，内乏资粮，应该迅速攻击取胜。太祖对赵普意见点头称是，于是发兵东下，进军神速，不久即包围了扬州，于十一月攻下扬州，李重进走投无路，全家投火自焚而亡。后周这两股反宋势力被赵匡胤很快镇压下去，这为赵宋王朝稳定的国内局势奠定了基础，从而在军事上又为进一步开展统一战争创造了有利条件。宋朝初建时，所继承的后周疆域只不过拥有黄河中下游地区，在它周围还盘踞着许多大大小小的割据政权。在北方，有势力雄厚的辽国，有盘踞太原的北汉；在南方，有南唐、吴越、后蜀、荆南、湖南、漳州等封建割据势力。宋太祖有统一天下的雄心大志，但究竟应当从何入手，他日夜筹思，耗尽心血。
在一个大雪纷飞的夜里，宋太祖带着弟弟赵光义微服出访赵普，赵普见太祖冒着大风雪到自己家来，急忙添炭、烧肉，置酒款待。赵普问：“这么寒冷的深夜，陛下为什么出来？宋太祖直截了当地说：“我睡不着，一榻之外，都是他人的地方，因此来见你。”赵普说：“陛下认为天下小吧？南征北讨，应该是统一的时候了，愿意听您的计划。”
赵匡胤石像
宋太祖试探地说：“我打算收太原。太原是北汉都城，太祖的意思是采取“先北后南的策略，从北伐开始。赵普表示了相反的看法，他认为：“太原当西北二面，太原攻下，西北二面便由我们独力去抵挡，不如暂且等到诸国平定，太原弹丸之地，怎能逃出我们的手掌呢？"这就是赵普提出的“先南后北”的战略，太祖笑着说：“我的意思也是这样，特意来试试你的。”赵普的话更使宋太祖下定了决心，为统一天下旷日难决的战略方针就这样被君臣二人定了下来。经过一番军事上的周密准备，宋太祖于建隆三年开始“先南后北”的统一战争。在赵普的精心布置下，赵宋首先进攻南方中实力最弱的荆南和湖南，结果取得完全的胜利，这两个割据政权完全被消灭，使宋军占据极为有利的地位，争取到更大的主动权。继而又挥师指向后蜀，作为下一步进攻目标。乾德二年宋军向后蜀发起进攻，只用两个月时间就占据了成都，后蜀灭亡。不久，又于开宝三年，挥师征讨南汉，第二年正月，宋军直逼广州，南汉虽困兽犹斗，但在宋军强大攻势下伤亡无数，广州遂迅速被占领。及后宋又平定了岭南，南汉灭亡。
开宝七年，宋太祖派十万大军进攻南方最强大的割据势力南唐，南唐对宋军的进攻缺乏准备，因而宋军的推进也比较顺利。过长江天险后迅速包围南唐都城金陵（今南京），经一年左右，金陵被宋军所破，南唐灭亡。在宋军一连串军事胜利的威逼下，南方剩下的吴越、漳州割据势力，也慑于宋军强大威力，先后降宋。至此，宋朝已经完全统一了南方。
赵普
开宝九年二月，群臣为庆贺平定南方的巨大胜利，一起上表要给宋太祖加尊号“一统太平”。太祖坚决不同意。这年秋天，宋太祖下令征讨北汉。正当宋军已经逼近太原城，胜利指日可待之际，宋太祖却于同年十月不幸猝然去世，征伐北汉的军事行动暂行停止。宋太祖在世未能实现北伐计划，但宋太宗即位后，继续实行宋太祖的大政方针，决心完成统一北方的事业。太平兴国四年春，兵分四路。向北汉都城太原发起包围，并且一举成功地击败了契丹对北汉的援军。四月，宋太宗赴太原督战，北汉坚持到五月，终于力竭城破而投降。攻取北汉的成功，再一次显示了赵普制定的“先南后北”战略方针的正确。赵普并非一味主张对外军事征伐，宋太宗灭掉北汉后，决定乘胜收复后晋石敬瑭割给辽国的燕云十六州。
宋太宗在太平兴国四年、雍熙三年，先后两次出兵，希望收复燕云十六州，但均被辽军击退，尤其是第二次战役，宋军死伤惨重，全线崩溃。当时赵普对出兵燕云就持反对态度，在雍熙三年上疏太宗时提出：首先，不能低估辽的实力，出兵燕云失败，就是明证；其次，太祖平息了割据势力并剥夺了最高将领的兵权，但自唐末五代以来藩镇割据，自立为政，酿成虑的问题。赵普认为，北征燕云是朝廷 内患的情形足资借鉴，这是奸邪小人欺君的结果，要求追查兴兵主谋，对首恶者“早正刑章”。