基于预处理的复杂人脸识别方案查看源代码讨论查看历史

来自 搜狐网 的图片

基于预处理的复杂人脸识别方案天翼智慧家庭科技有限公司为中国电信股份有限公司的全资子公司，是中国电信从事智慧家庭业务研发运营一体化的集团级专业公司，于2018年12月24日成立，注册资本10亿元。

公司深耕上海、南京长三角龙头城市，辐射全国，并设五大区域能力支持中心，构建开放互联的智慧家庭业务生态圈。

公司致力于家庭信息化建设，把握网络连接可视化、设备配网自动化、智能控制场景化、家庭应用多样化、安全保障立体化的“五化”发展趋势，着力打造科技领先的智慧家庭信息化服务。公司主要产品应用涵盖小翼管家、全屋WiFi、天翼高清、天翼看家、家庭DICT、云网超宽、家庭云、安全管家、云游戏、云VR/AR等，服务1.87亿宽带用户、1.34亿天翼高清IPTV用户以及6450万家庭云用户，智家平台智能设备连接数超1.89亿。公司始终坚持开放合作，全力推动共享共赢，积极携手420余家行业合作伙伴，共建智慧家庭产业联盟，为各领域合作伙伴提供标准牵引能力及开放平台的封装调用能力，赋能行业发展。

公司拥有高素质专业人才队伍，硕士以上学历占比超73%，技术研发类人员占比65%。申请专利和软件著作权超过70件，已获得多项家庭组网、大视频、智能家居、设备连接和业务应用等领域发明专利授权。

公司笃行“天翼智家，美好生活”的崇高使命，坚持“用心服务，智慧相伴”的服务理念，以满足用户对美好信息新生活的向往为目标，不断加强自身核心能力的打造，集产业聚群优势，抢抓“新基建”窗口机会，推动智慧家庭生态高质量发展，共赢未来。

案例概述

人脸识别成功率依赖于不同场景下的数据样本，在各类复杂场景下，光照不均、人脸模糊、侧脸等各种因素造成了人脸识别成功率较低，综合成功率仅达85%。基于预处理的复杂人脸识别方案，使用可拔插的人脸预处理模块，灵活处理各类场景因素。预处理模块包括基于深度学习模型对侧脸进行矫正、结合人脸特征使用计算机视觉方法对光照不均的图像进行增强和基于超分辨和特征白化技术对模糊人脸进行矫正。此方案为复杂场景下的摄像头人脸识别提供了新方法，全面提高摄像头人脸识别的成功率，综合准确率可提升至92%以上。该方案的应用实施将提高中国电信人脸识别业务能力，支撑天翼看家产业链优化成熟，为交通、医疗、企业、政府、家庭等各类用户提供优质服务，助力家庭安全、公共安全。

案例突破性

基于预处理的复杂人脸识别方案，突破性地将侧脸、光照不均、远处模糊等影响人脸识别成功率的复杂因素综合地加以处理，利用侧脸矫正、人脸光照矫正、远处模糊人脸矫正等先进算法，对各类复杂场景下人脸图像进行矫正，利用先进人脸识别模型对复杂场景下人脸图像进行识别，从而提升人脸识别综合成功率。

基于预处理的复杂人脸识别方案，提供复杂场景下摄像头人脸识别的新方法，大幅提高复杂场景下摄像头人脸识别的成功率，各类复杂场景下人脸识别成功率提高至92%以上，为解决安防监控现场环境复杂性带来的人脸识别困难提供新方案，提升安防监控服务水平，可广泛推广至安防监控、人脸支付、人脸认证等各类领域。

技术要点

随着AI技术的快速发展，基于计算机视觉的检测和识别能力得以突飞猛进，在人脸识别领域，从基于传统机器学习的特征脸到基于深度学习的人脸识别，通用数据集下的人脸识别成功率从90%提升到到99.8%。人脸识别技术已经覆盖到交通、医疗、企业、政府、家庭等领域，但由于受到光照、模糊、角度等各种因素的影响，在真实场景下传统识别成功率大大降低,综合成功率仅达85%，不足以满足各类领域的应用需要。

为解决行业痛点，解决真实场景下光照不均、人脸模糊和侧脸等因素对人脸识别的影响，提升复杂场景下人脸识别的成功率，同时提高天翼看家摄像头场景下人脸识别的成功率，全面提升天翼看家产品的服务品质，加快天翼看家产业链成熟度，支撑中国电信天翼看家业务发展，提高核心竞争力，提出“基于预处理的复杂人脸识别方案”。

基于预处理的复杂人脸识别方案，是利用先进人脸识别技术，在现有正面人脸识别模型前加入预处理模块，对侧脸、光照不均、远处模糊三类复杂场景人脸图像进行矫正，将矫正后的正脸图片输入人脸识别模型进行识别，从而提升复杂场景下摄像头人脸识别的成功率。

技术方案：基于预处理的复杂人脸识别方案，采用先进侧脸矫正、人脸光照矫正、远处模糊人脸矫正算法的预处理技术，和先进深度学习框架、神经网络算法、人脸识别模型，打造人脸识别新方案，从而提升复杂场景下人脸识别的成功率。

1、部署深度学习框架

选用先进深度学习框架，PyTorch，部署分式PyTorch架构，实现模型运行成功率达到100%；

2、建立基于Retinaface的人脸检测模型：

利用神经网络算法Retinaface建立人脸检测模型，并对人脸检测能力IOU、ALG、DROP、WD等相关超参数进行调优，完成人脸检测模型优化，获取人脸框、坐标、置信度等信息，并输出检测结果。

3、建立预处理模块

（1）利用CAPG-GAN构建侧脸矫正模型，完成复杂场景人脸数据集训练；

（2）基于Retinex理论的反射图像估计建立人脸光照矫正模型，完成复杂场景人脸数据集训练；

（3）基于FESNet构建远处模糊人脸矫正模型，完成复杂场景人脸数据集训练；

在预处理模块中输入待矫正人脸图像，判断人脸大小，根据人脸大小选择FSRNet或CAPG-GAN算法对图像进行初步矫正，通过基于Retinex的人脸光照补齐完成人脸图像矫正。

4、建立基于ArcFace和DBSCAN的人脸识别模型：

利用ArcFace算法对人脸特征提取，利用DBSCAN算法对人脸特征值聚类，并对人脸识别能力超参数：模型使用的损失函数（LOS）、梯度下降动量值（MME）、模型的学习率衰减（LDE）、模型的 （WDE）、DBSCAN邻域的距离阈值（ESP）、和DBSCAN近邻距离度量（MET）等进行调优，构建人脸识别模型并完成训练。

在人脸识别模型中输入待识别图片和底库图片，通过人脸特征提取网络进行特征提取，利用DBSCAN算法进行特征聚类，最终输出人脸识别结果。

应用效果：通过“基于预处理的复杂人脸识别方案”，复杂场景下摄像头人脸识别整体成功率达到92%以上，复杂场景下人脸识别成功率得到明显的提升，为各类安防监控场景中，远距离、用户非配合的状态下，快速准确完成人员身份识别，远距离快速确认人员信息，实现智能预警。

突破性：基于预处理的复杂人脸识别方案，突破性地将侧脸、光照不均、远处模糊等影响人脸识别成功率的复杂因素综合地加以处理，利用侧脸矫正、人脸光照矫正、远处模糊人脸矫正等先进算法，对各类复杂场景下人脸图像进行矫正，利用先进人脸识别模型对复杂场景下人脸图像进行识别，从而提升人脸识别综合成功率。

创新点：1、可插拔的人脸预处理模块，本期成果完成光照不均、远处模糊和侧脸矫正模块，后续可以灵活嵌入其它预处理模块；

2、光照不均的增强方法，结合人脸的特征使用计算机视觉方法对光照不均的人脸进行图像增强，提高人脸识别的准确率；

3、基于超分辨和特征白化技术的人脸识别方法，使用超分辨和特征白化技术对模糊的人脸进行图像增强，提高人脸识别的准确率。

应用前景：基于预处理的复杂人脸识别方案，大幅提高了各类真实复杂场景下摄像头人脸识别的成功率，为各类家庭安防、公共安防的需要提供了人脸识别新途径，随着人脸识别领域的不断发展，复杂场景人脸识别成功率的提高，将为人脸支付、人脸认证、信息安全等各类商业应用提供新的服务方案。

预计经济效益：基于预处理的复杂人脸识别方案，大大提高了复杂场景下摄像头人脸识别的成功率，在提高中国电信人脸识别业务能力的同时，支撑天翼看家产业链优化成熟。

复杂场景下摄像头人脸识别成功率的提高，将进一步打造天翼看家相关产品的优质服务质量体系，为各类用户提供更优质的产品体验，从而促进天翼看家相关产品销量，为天翼智慧家庭公司带来可观的经济收益。预计每年可为天翼看家产品新增月付费用户10%，新增一次性付费用户15%，预计每年新增收益2500万左右。

预计社会效益：人脸识别广泛服务于交通、医疗、企业、政府、家庭等各类用户，基于预处理的复杂人脸识别方案，提高了复杂场景下摄像头人脸识别的成功率，对中国电信人脸识别能力建设、提升人脸识别相关产品的服务能力及水平、助力家庭安全、公共安全有推进作用，同时，基于预处理的复杂人脸识别方案，为人脸识别成功率的提高提供新思路，针对各种真实场景下影响人脸识别成功率的因素，提供解决方案，将进一步助力人脸识别领域的建设发展，为人脸识别在人脸认证、人脸支付等商业领域应用提供可能。

另外，真实场景下复杂人脸识别成功率的提升，将进一步助力“雪亮工程”的建设发展，充分发挥视频监控系统的作用，完善乡村治安防控体系建设，为乡村果园、鱼塘、农田等场景提供“全覆盖、无死角”的防盗系统，从而为“乡村振兴”战略的逐步推进提供动力。