广德元年（763年）以右补阙充翰林学士，不久任考功员外郎。期间宦官鱼朝恩恃宠专权，群臣竞献珠宝邀宠，常衮上书曰： “ 所贡宝物，源出于民，是敛怨以媚上也，请皆还之。 ” 代宗赞许，加封常衮为集贤院学士。

大历十二年（777年）拜相， [[ 杨绾 ]] 病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察史。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。