但自2006年下旬，杜汶澤被傳因口不擇言開罪無數演藝圈的藝人（吳君如，[[曾志偉]]，[[劉德華]]，[[容祖兒]]）、電影導演（[[杜琪峰]]）、商業電台副主席（[[俞琤]]）與寰亞電影公司的老闆（林建岳）而引致事業開始走下坡，相繼被商業電台解僱并失去廣告代言人資格。至2007年底，更有雜誌指杜汶澤被業主[[劉德華]]下令收回租住豪宅的業權，被迫遷出布力架街豪宅。後來杜汶澤出席劉德華的演唱會做嘉賓，在舞臺上表示與劉德華沒有不和。歷經事業低潮的杜汶澤其後篤信 [[ 佛教 ]] ，並戒酒戒煙及食素，一改過去口不擇言的態度。