建安初年，被征为卫尉，张俭不得已只好就任。因为曹操专权，于是闭门不出，不参与政事。一年多后，在许都去世，卒年八十四。