但可惜76人在季後賽再次負於已由前總教練拉里·布朗領軍的[[底特律活塞]]。而隨後一年艾佛森個人場均得分創新高，達33分，不過76人卻無法打入季後賽。76人球隊管理層眼見球隊成績久久未有突破，而艾佛森亦與球隊管理層存在矛盾，於是在2006年12月20日，他被送往[[丹佛金塊隊]]，交換[[安德魯·米勒]]、[[喬·史密斯]]以及兩個首輪選秀權。結束了艾佛森在76人效力的十年生涯。

====金塊時期（2006-2008）====

但是[[孟菲斯灰熊]]只願意讓他當替补球員，而這違背艾佛遜想當先發球員的意願，於是灰熊將他釋出。之後傳出他將加入尼克隊的消息，但後來尼克隊放棄簽他。在沒有NBA球隊願意簽艾佛遜的情況下，《費城詢問報》專欄作家Stephen A. Smith的網站上刊出他將退休的聲明。而之後NBA網站也出現官方聲明的新聞。他的私人經理Gary Moore也表示艾佛遜將很快退休，將把時間留給家人。

====重返76人（2009-2010）====