齐台建，转散骑常侍，世子詹事。建元元年，转中书令，常侍如故。绪善言，素望甚重，太祖深加敬异。仆射王俭谓人曰：“北士中觅张绪，过江未有人，不知陈仲弓、黄叔度能过之不耳？”车驾幸庄严寺听僧达道人讲，座远，不闻绪言，上难移绪，乃迁僧达以近之。寻加骁骑将军。欲用绪为右仆射，以问王俭，俭曰：“南士由来少居此职。”褚渊在座，启上曰：“俭年少，或不尽忆。江左用陆玩、顾和，皆南人也。”俭曰：“晋氏衰政，不可以为准则。”上乃止。四年，初立国学，以绪为太常卿，领国子祭酒，常侍、中正如故。绪既迁官，上以王延之代绪为中书令，时人以此选为得人，比晋朝之用王子敬、王季琰也。绪长于《周易》，言精理奥，见宗一时。常云何平叔所不解《易》中七事，诸卦中所有时义，是其一也。

转吏部尚书，祭酒如故。永明元年，迁金紫光禄大夫，领太常。明年，领南郡王师，加给事中，太常如故。三年，转太子詹事，师、给事如故。绪每朝见，世祖目送之。谓王俭曰：“绪以位尊我，我以德贵绪也。”迁散骑常侍，金紫光禄大夫、师如故。给亲信二十人。复领中正。长沙王晃属选用吴兴闻人邕为州议曹，绪以资籍不当，执不许。晃遣书佐固请之，绪正色谓晃信曰：“此是身家州乡，殿下何得见逼！”七年，竟陵王子良领国子祭酒，世祖敕王晏曰：“吾欲令司徒辞祭酒以授张绪，物议以为云何？”子良竟不拜，以绪领国子祭酒，光禄、师、中正如故。