胡雪巖事業有成後，大興土木，營造庭園，並擁有眾多妻妾<ref>曲彦斌：《不可“骄奢淫靡，忘乎所以”─观“红顶商人”胡雪岩故居及朱镕基题辞随想》</ref>。[[曾紀澤]]就斥責胡雪巖為“奸商謀利，病民蠹國”<ref>《曾惠敏公使西日记》卷二，四月初十、十月初二</ref>。據估計其資產最多時曾達一億萬兩[[銀兩|白銀]]<ref>陳旭麓、方詩銘、魏獻猷主編：《中國近代史詞典》</ref>。