其时卢江人陈兰、梅成占据氐等六县作叛，曹操于是遣于禁、臧霸等讨伐梅成，又命张辽督领张、牛盖等讨伐梅兰。当时梅成诈降于禁，于禁引军便还。不料梅成趁机会带其军众往投陈兰，二人转入山自守。山中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避於其上，山下进军难通。张辽意欲登山进兵，诸将皆说∶“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说∶“这正是所谓‘一与一，勇者得前耳’(只有勇者可以前进)。”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说∶“登天山，履峻险，以取兰、成，荡寇(荡寇将军张辽)功也。”于是增其邑，假节。
张辽不仅长于战场征伐，而且颇有战略眼光。建安十二年曹操远征袁尚时，张辽劝谏说：“许昌，现在是天下的都会。天子(汉献帝)正居在许昌，您千里北征，如果刘表派刘备偷袭，挟持了天子而号令四方，形势就危险了!”果然，曹操北征之后，刘备即向刘表建议袭许，而刘表不能用其计。但就当时形势而言，在刘表为失计，在曹操为侥幸，张辽的担心是很有见识的。
张辽在其二十余年的戎马生涯中，攻无不克，守无不固，其为将之勇力和智略皆有可观。张辽军旅生涯最辉煌的巅峰是对孙权的合肥之战。208年，曹操于赤壁之战大败，派张辽、李典、乐进卒七千余人驻合肥，并派护军薛悌送函给张辽，写到“贼至乃发”。建安二十年(215)八月，吴主孙权亲自率兵十万进犯合肥。此间，驻守合肥的曹军仅七千余人。两军对阵，众寡悬殊。偏偏在这危急关头，曹操又亲自率兵西征在外，一时无法派遣军队来援救合肥。遇此严峻形势，对于驻守合肥的曹军来说，实在是凶多吉少。守将乐进、李典相觑无奈，猛将张辽见此拍案而起曰：“曹公今远征在外，若坐等曹公派援军来救，即便援军来到，那时吾等也早被吴军击败。现在唯一的上策，是在吴军尚立足未稳之时，主动出击，挫其锐气，方能安定众心，鼓舞士气，得以守住城池。”
乐进等闻张辽之言，仍犹豫不决。张辽怒曰：“成败之机，在此一战，诸君若疑，吾张辽将独决之。”李典素与张辽存有隔阂，然在此危急关头，闻张辽之言，慷慨陈词曰：“此国家大事，既然将军主意已定，奋不顾身，吾等能以小私而舍弃大义乎?”于是，众将尊张辽意见，夜募敢从之士八百人，于破晓时突杀吴阵，直战至日中乃休战，使吴军遭受重创。此战中，“(张)辽披甲持戟，先登陷阵，斩数十人，杀二将。”孙权猝不及防，10万大军被逼迫退守到一片高地。后来见张辽兵少，“乃聚围辽数重”。张辽在十万围中左冲右突，勇不可当，一度与数十人杀出重围，后见自己的大部人马还在围中，又折返回阵，救出自己的部下。孙权的军队“皆披靡，无敢当者”。一场大战从清晨杀到中午，“吴人夺气”，孙权只好撤退。
后孙权虽持续围城十余日，但终不能破城，遂撤军返归。当孙权与诸将行至逍遥津北时，恰为张辽侦知。辽即率步骑数众悄然而至，甘宁与吕蒙等吴将与辽力战，凌统则率亲兵护权出围。当孙权退至逍遥津桥时，见桥南板已拆丈余而不得过。在此危急关头，时孙权近监谷利急中生智，于孙权坐骑后猛著一鞭，使孙权得借坐骑飞桥而过，幸免于难。此战史称张辽威震逍遥津，是三国时期魏吴相争中创下的一次以少胜多的著名战例。
张辽这一战，杀得东吴“人人害怕，闻张辽名，小儿也不敢夜啼”。此役后曹操大赞张辽，又升其为征东将军。建安二十一年，曹操复征孙权。军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。后来继位的曹丕曾评价说：“合肥之役，辽、典以步卒800，破贼十万，自古用兵，未之有也。”并赞其“此亦古之召虎也。”《三国志魏书十七张辽传》(召虎是与方叔、尹吉甫、秦仲等齐名的东周大将。)
之后，张辽以征东将军之职长期屯兵居巢(今安徽桐城南)，防范孙权。曹丕接任王位后，改迁张辽为前将军，也封其兄及子为列侯。孙权再叛，后张辽还屯合肥，进爵都乡侯。曹丕准其母乘车及兵马送其家人到他驻军的地方，这在当时是至高荣誉。后曹丕称帝，封张辽为晋阳侯，增食邑至二千六百户。黄初二年，曹丕还特别替张辽建造屋舍，替他母亲兴建殿室，另外也把跟随张辽的将士们封为虎贲。
张辽不幸在此时得了疾病。曹丕便遣侍中刘晔带太医应诊，甚至亲到其营执其手问候，赐其御衣，更派太官送御食。待张辽之疾稍可，辽即回还屯之处。正当其时，孙权复叛，黄初三年，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，告诫部下说：“张辽虽病，不可当也，慎之!”其畏张辽如此。同年，张辽抱病与曹休伐吴，打败吴将吕范。
