建安七年（202年），张辽从讨袁谭、袁尚于黎阳时，累有功劳，行中坚将军。

建安八年（203年），曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下。因此曹操采纳郭嘉之计让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南。

建安九年（204年），张辽再次随曹操攻打邺城，这次终于攻破邺城。张辽奉命别巡赵国、常山，招降了那些靠近太行山边缘的诸多贼众及黑山孙轻等。此后，再度随曹操攻击袁谭。

建安十年（205年），袁谭败亡后，张辽受命安抚海滨一带，征破辽东军阀公孙度所置的营州刺史柳毅。又与长广太守何夔合兵平定了矣平的从钱等人。

建安十一年（206年），曹操上表汉献帝，对于禁、乐进、张辽表示称赞：“武力强大，计谋周全，品性忠正，操守高洁，每次征战，身先士卒，勇猛顽强，无坚不摧；亲自擂动战鼓，忘了疲倦。他们单独领兵征讨，统率全军，抚慰将士，纪律严明，秋毫无犯；临敌决策，没有失误。论功记职，应该给予显要荣宠。”

收复东莱诸县后的张辽引军还邺城，曹操亲自出城迎接，邀请张辽同乘一辆车，并任命张辽为荡寇将军。

张辽率军攻打荆州，平定江夏诸县，引军还，屯兵在临颍县，受封为都亭侯。

大破乌桓

建安十二年（207年），曹操要征讨在柳城的袁尚、袁熙与乌桓。张辽进谏：“许都，是天子所在的地方。现今，天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它而号令四方，明公您大势去矣。”曹操推测刘表必不能任用刘备，于是，大军出征。

八月，曹操带领先锋部队登上白狼山，突然与敌兵遭遇。敌人的数量很多。当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧。

在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。张辽劝战时的语气非常振奋。曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是，采纳了张辽的建议。曹操亲自将自己所持的麾，授予给张辽暂用，下令由张辽指挥先锋部队出战。张辽率军突击，大破乌桓军队，并临阵斩杀了以“骁武”著称的乌桓单于蹋顿。（曹操“自以所持麾授辽”。《淮南子·主术训》：“军之持麾者，妄指则乱矣”，说明，“持麾”的作用在于“指”，张辽负责白狼山之战的临阵指挥。《魏武军令》：“麾前则前，麾后则后，麾左则左，麾右则右。不闻令而擅前后左右者斩”，说明，曹军各部的进攻方向、进攻时机全由张辽决定。以上两文相结合，说明，因为张辽“持麾”，所以，白狼山之战的参战将领都必须接受张辽的指挥，否则，会被依法处斩。因此，《三国志·武帝纪》关于白狼山之战的记载，只需写张辽，没必要写其他的参战将领，也没必要写“等”字。）此役，虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十馀万。

在白狼山之战后，张辽开始名声卓著、脱颖而出。后世也因为白狼山之战而对张辽多有赞誉。唐朝的昭文馆大学士甚至将张辽与卫青、霍去病相提并论，于是有诗句写在《登长城赋》：“卫青开幕，张辽辟土，校尉嫖姚，将军捕虏。”（相关释义：“卫青开幕”是指卫青破匈奴，“张辽辟土”是指张辽破乌桓。“嫖姚”可能是特指曾经在漠南之战时任票姚校尉的霍去病，也可能是泛指迅捷有力。“虏”是指胡虏。）

智破谋反

建安十三年（208年），当