[[光绪]]三十年(1904年)，何遂进入福建武备学堂，结识了[[林觉民]]、[[方声洞]]、陈更新等革命党人，开始参加反清革命活动。光绪三十二年(1906年)毕业后，到南京在第九镇当排长。翌年，考入河北保定陆军随营军官学堂（后改称陆军大学）。这年，由[[方声涛]]主盟，加入中国同盟会 <ref>[http://guoqing.china.com.cn/zhuanti/2015-10/03/content_36737845_2.htm 中国同盟会]，中国网 </ref> 。

何遂一生待人耿直，热诚，不近烟酒，唯酷爱书画、[[文物]]，他唯一的财产就是大量的古文物和图书，曾先后全部分赠给[[北京故宫博物院]]、[[上海历史博物馆]]、[[南京博物馆]]和天津图书馆。仅1950年捐赠给上海历史博物馆的古文物就达6895件 <ref>[https://k.sina.com.cn/article_1737737970_6793c6f202000phk6.html?from=cul 俭德坊2号与何遂将军]，新浪网，2019-10-03</ref> 。为此，陈毅市长，[[潘汉年]]、盛丕华副市长专函致谢，国家文化部发给了褒奖状。