“光旦秉性温和忠厚，论语上说的‘温、良、恭、俭、让’诸美德，他可以当之无愧。”他的同学、燕京大学校长梅贻宝如是说。“其为人也，外圆内方，人皆乐与之游”，因此是“我所敬爱的人物”，老同学梁实秋如是说。在与众多朋友的关系上，潘光旦与费孝通之间有点特别，他们亦师亦友。费孝通自己说“我应当是他学生中受益最深的一个”。费称赞他的性格是“牛皮筋”，“屈不折，拉不断，柔中有刚；力不懈，工不竭，平易中出硕果。”费孝通与潘光旦比邻而居，他视潘光旦为活字典，凡是不知道的事情，不查字典，跑到隔壁去问潘光旦，一问就知道了。

潘光旦一生爱书，手头稍有余钱就会去买，不少书店老板与他熟识。他坐拥书城，有藏书万余册。他所珍爱的《达尔文全集》，是他1926年从美国带回的。当时的中国，私人拥有此书者很少，多是大图书馆收藏。为买此书，他倾其所有，回到国内下船时，身上仅剩一元钱，回家的交通费都不够。如此日积月累，书满四壁。1953年，潘氏调任中央民族学院，书太多，家里放不下，学院专门在研究楼给他一间屋子做书房。1956年12月10日的《文汇报》上说，“他的屋子里四壁都是书，……办公室里四分之三的地方被书占去了”。因其收藏丰富，朋友、同事、学生时常上门求问，他也常为别人查书。他收藏的《不列颠百科全书》（第11版）派上了大用场。当年为研究中印边界问题，政府需用边境史料，周总理亲自借用这套书，还书时还附有总理的亲笔信。后来这些藏书，子女们各留一套作为纪念外，余皆捐给国家了。

潘光旦很有生活情趣。战时在昆明，他也会营造书房的氛围。一张大书桌，自制土造货，两侧用汽油包装木箱横竖叠加成桌脚，上架两条长木板为桌面，一如裁缝师傅的工作台。台上备有文房四宝。还有拾来的石头、竹木制品做小摆设。因房子四面有窗，他命名为“四照阁”。苦中作乐，不乏文人雅士情调。

在“五四”前后成长起来的学者中，潘光旦的形象颇为特别，独树一帜、卓尔不群。闻一多认为他是一个科学家，梁实秋说他的作品体现了“自然科学与社会科学之凝合”，而在费孝通的眼中，潘光旦是一个人文思想家、人类学家。梁实秋、梅贻琦、闻一多、徐志摩等那一代的学者们，非常喜欢潘光旦的为人，常与他结伴旅行。潘光旦因独腿，行走用木拐，朋友徐志摩戏言“胡圣潘仙”。胡圣，指胡适；潘仙，指潘光旦，比喻他像名列八仙之一的李铁拐。梁实秋认为潘光旦是一位杰出的人才，学贯中西，头脑清晰，有独立见解，国文根底好。冰心评价说，潘光旦是“男子中理智感情保持得最平衡的一个”。冯友兰写过一副对联赠潘光旦：“学擅专长功精谱牒，斋有殊号连理葫芦”。