1982年9月，曹里怀在党的十二次全国代表大会上被选为党中央顾问委员会委员，同时退出领导班子。他虽然退居二线，仍然关心部队工作和国家现代化建设，兢兢业业地贡献余热。