慈云图书馆的前身应追溯至1886年（清[[光绪]]十二年）建立的“丰湖书藏” <ref>[https://www.sohu.com/a/235202205_677393 惠州这几家图书馆厉害了！获评国家“一级图书馆”]，搜狐，2018-06-11</ref> 。该年，时任丰湖书院山长的[[梁鼎芬]]认为书院当时以四书五经为主体的藏书不敷应用，遂写“捐书启事”以号召惠州当地民众捐书。梁后来又写《丰湖书藏四约》求助于天下，并规定所捐之书籍不受版本、数量及书院是否已藏的限制，允许捐赠者在书中“刻印爵里、盖印姓氏”，及承诺向其开具收条。此举得到时任两广总督[[张之洞]]大力支持，梁鼎芬亦很快收获四万六千余册来自各地的书籍。梁随后在书院西侧“建楼三楹”，用于收藏这些书籍，称“丰湖书藏”，是为中国最早的校园图书馆之一。而为了妥善管理书籍，梁鼎芬雇请专人管理书藏，又将《丰湖书藏四约》用于书藏管理。《四约》是[[清朝]]条目最多、内容最详细的藏书规章，亦被认为是近代图书馆理念、制度的体现。

2007年9月，该馆开通了参考咨询服务，市民可透过直接向图书馆职员反映、于图书馆官网留言及发送电子邮件反馈等方式查询专业资料。2011年11月，该馆启用了新版网络图书管理系统，当中包括以手机短信形式告知读者按时还书。2014年12月28日，该馆古籍文献修复室揭牌成立，成为惠州首间古籍修复机构 <ref>[http://e.hznews.com/hzrb/pad/content/201908/01/content_900912.html 他们为古籍看“病”]，惠州日报，2019-08-01 </ref> 。2015年4月14日，慈云图书馆理事会成立，是为该馆的决策管理机构。2017年3月1日，该馆正式将[[中华人民共和国第二代居民身份证]]作为借阅证使用，同时对不持有二代身份证的读者推出条码卡读者证；该馆亦宣布在该日期之前发行的旧版读者证于该年8月1日停止使用，并开放市民退还旧版读者证押金的服务。2019年7月6日，该馆开始试行延时服务，逢周末（不含法定节假日）开馆时间由上午9时提前至上午8时半。9月中旬，该馆在御景花园小区启用惠城区首个“通借通还”社区服务点，具体运营工作由御景花园[[物业]]管理部门及业主委员会负责。