张杨字稚叔,云中人。凭武艺和勇敢在并州当上了武猛从事。灵帝末年,天下渐乱,灵帝任命他所宠幸的小黄门官蹇硕为西园上军校尉,戍守京都,想以此抵御来自各方的侵扰,并广召天下豪杰做裨将。太祖和袁绍等人当时都任校尉,都归蹇硕管辖。并州刺史丁原派张杨领兵去蹇硕那里,被封为假司马。灵帝驾崩,蹇硕被何进所杀。张杨又被何进派回并州召募士兵,征得千余人,张杨带着这些士兵驻守上党,打击山贼。何进兵败,董卓叛乱。张杨在壶关向上党太守进攻,没取胜,改道攻打附近的郡县,部队增加了数千人。山东诸郡起兵,欲杀董卓。袁绍到了河内,与张杨合兵一处,又与匈奴单于于夫罗一起驻扎在漳水一带。单于想背叛朝廷,袁绍、张杨都不肯。单于胁迫张杨与他一起离开,袁绍派部将麴义追赶到邺城的南面,大破单于的军队。单于带着张杨又到了黎阳,打败度辽将军耿祉,队伍又重新振作起来。董卓任命张杨为建义将军、河内太守。天子当时在河东,张杨带着队伍到了安邑,天子再次任命他为安国将军,封晋阳侯。张杨想迎天子回洛阳,手下将领都不同意,张杨带着队伍到了野王。
建安元年(196),杨奉、董承、韩暹挟持天子回旧都,路上粮草告急,张杨带着粮草上路迎接,天子得以回到旧都洛阳。张杨对手下将领说:“天子应当与天下共存,朝中有文武百官,我张杨可以抵御外来的侵扰,留在京都干什么呢?”于是回到野王。天子当即任命他为大司马。张杨向来与吕布友好,太祖围攻吕布时,张杨想去援救,但没能办成,只能将兵带到东市,遥作吕布的后援。张杨手下将领杨..杀死了张杨以奉迎太祖,杨..又被张杨手下另一将领眭固所杀。眭固带领张杨的部队,想往北与袁绍联合。太祖派史涣前去截击,在犬城大败眭固,并将眭固斩首,悉数收编了张杨的部下。