后来于扶罗被袁绍击败，张杨也顺利回归了，得以东山再起——董卓委以重任，张杨当上了建义将军、河内太守。丁原旧部大多投靠了董卓，虽不免有拉拢的意思，但张杨能成为太守，跟他的旧交们的关系应该更大。
初平三年（192），曹操当上州牧后，为表示对朝廷的忠诚，派使者到长安上书。但使者途径河内时却被张杨扣留，最终他又能平安过境，全靠董昭的周旋。
董昭对张杨说：“袁曹虽为一家，势不久群。曹今虽弱，然实天下之英雄也，当故结之。”
张杨最终接受了建议，不但给使者放行，还上表推荐曹操。而同时“太祖遗杨犬马金帛，遂与西方往来”，从此看出张杨很会应对时局变化，这回出乎意料的和曹操拉上关系。
话说董卓被吕布刺死后，汉献帝因为李傕郭汜作乱而流亡至河东，这时，张杨抓住机会率兵前往安邑救援，被拜为安国将军，封晋阳侯。
当时张杨想把汉献帝迎回洛阳，但是诸将不肯从，于是张杨回到野王，无论如何，这回张杨又做了回忠臣了。
建安元年（公元196年），杨奉、董承、韩暹携带汉献帝回洛阳，没有粮食吃，张杨于是携带粮食于回洛阳的路上迎接汉献帝，和汉献帝一起回到洛阳。
正当人们以为张杨将身居要职时，张杨对诸将说：“天子应该是和天下人一起的，现在天子有各位公卿大臣的辅佐，我可以在外捍卫大汉朝，怎么可以留在京都呢？”
他放弃了在朝为官的机会，硬要回去做太守，朝廷无奈之下，也只好授予他一个大司马的虚位，算是对他的奖励。
从这里看一看出，张杨这个人其实并没有很大的野心，至少是忠君爱国的，这样的人在三国中真的很少，就连以仁德著称的大耳，都想自己做皇帝。
张杨的事业蒸蒸日上的时候，走投无路的吕布来投奔他。张杨对待吕布，确实很够朋友，吕布先后两次投靠张杨，张杨都没说二话。
吕布第一次投靠张杨的时候，已经不是当年他身边那个英气逼人的小兄弟，而是从袁术那里落魄地逃过来的流寇模样。
也许张杨本来不会原谅当初见利忘义，杀掉有恩于自己主公的吕布。但看见当年如弟弟般的吕布落魄成这样，不由得心软。
之前在南阳掠夺财物，被袁术赶走，军纪差？没关系，当年在建阳大人府中的兄弟们如今只剩你我二人，有什么需要的，我一定会帮忙。于是，张杨无私地养着吕布，吕布也有意向一直住在这里。
不过，张杨为人好，但他的手下不这么看。知道李傕在悬赏吕布，暗中想要捉拿。连吕布都知道这种事情，张杨不可能不知道。
吕布亲自向张杨摊牌，张杨只是点头，然后吕布带人离开。
83书屋：（www.83shu.com）