1934年，由于何世光在股票市场上投资失败，何家一夜之间财富尽散。何世光将所有的别墅都卖了，依然不能偿还债务，不得不逃离香港遠赴[[越南]]。何鸿燊和兄弟姐妹被母亲冼兴云带着，离开别墅，搬进了香港中环工厂内的一处工棚里居住 <ref>{{Cite web |url =http://paper.wenweipo.com/2020/05/27/FI2005270004.htm| title =賭場大亨不好賭 「你沒辦法贏賭場」}}</ref> 。