早年在河南固始兴办团练，参与镇压捻军和太平天国，创建“嵩武军”，又随左宗棠赴西北镇压回民起义军，历任知县、知府、道员、布政使、提督等职。陕甘平定后，率部于哈密屯田垦荒，岁获军粮数万石，为清军收复新疆之战做准备。1877年（光绪三年），配合刘锦棠等收复新疆南路七克腾木、辟展、吐鲁番等城。1884年（光绪十年），率部入关，警备直隶北部。1885年（光绪十一年），授广西巡抚，未行，留治京师河道。1886年（光绪十二年），调山东巡抚，督办河工。1887年（光绪十三年），襄办海军。1889年（光绪十五年），加封太子少保。1891年（光绪十七年），病死济南，赠太子太保，谥勤果。 [1]

张曜军政才略突出，为收复新疆、阻遏英俄侵略作出了贡献，故有“爱国将领”之称。其在山东巡抚任上也多有建树。有《河声岳色楼集》存世，《山东军兴纪略》亦由其纂订。