基於預處理的複雜人臉識別方案檢視原始碼討論檢視歷史

來自 搜狐網 的圖片

基於預處理的複雜人臉識別方案天翼智慧家庭科技有限公司為中國電信股份有限公司的全資子公司，是中國電信從事智慧家庭業務研發運營一體化的集團級專業公司，於2018年12月24日成立，註冊資本10億元。

公司深耕上海、南京長三角龍頭城市，輻射全國，並設五大區域能力支持中心，構建開放互聯的智慧家庭業務生態圈。

公司致力於家庭信息化建設，把握網絡連接可視化、設備配網自動化、智能控制場景化、家庭應用多樣化、安全保障立體化的「五化」發展趨勢，着力打造科技領先的智慧家庭信息化服務。公司主要產品應用涵蓋小翼管家、全屋WiFi、天翼高清、天翼看家、家庭DICT、雲網超寬、家庭雲、安全管家、雲遊戲、雲VR/AR等，服務1.87億寬帶用戶、1.34億天翼高清IPTV用戶以及6450萬家庭雲用戶，智家平台智能設備連接數超1.89億。公司始終堅持開放合作，全力推動共享共贏，積極攜手420餘家行業合作夥伴，共建智慧家庭產業聯盟，為各領域合作夥伴提供標準牽引能力及開放平台的封裝調用能力，賦能行業發展。

公司擁有高素質專業人才隊伍，碩士以上學歷占比超73%，技術研發類人員占比65%。申請專利和軟件著作權超過70件，已獲得多項家庭組網、大視頻、智能家居、設備連接和業務應用等領域發明專利授權。

公司篤行「天翼智家，美好生活」的崇高使命，堅持「用心服務，智慧相伴」的服務理念，以滿足用戶對美好信息新生活的嚮往為目標，不斷加強自身核心能力的打造，集產業聚群優勢，搶抓「新基建」窗口機會，推動智慧家庭生態高質量發展，共贏未來。

案例概述

人臉識別成功率依賴於不同場景下的數據樣本，在各類複雜場景下，光照不均、人臉模糊、側臉等各種因素造成了人臉識別成功率較低，綜合成功率僅達85%。基於預處理的複雜人臉識別方案，使用可拔插的人臉預處理模塊，靈活處理各類場景因素。預處理模塊包括基於深度學習模型對側臉進行矯正、結合人臉特徵使用計算機視覺方法對光照不均的圖像進行增強和基於超分辨和特徵白化技術對模糊人臉進行矯正。此方案為複雜場景下的攝像頭人臉識別提供了新方法，全面提高攝像頭人臉識別的成功率，綜合準確率可提升至92%以上。該方案的應用實施將提高中國電信人臉識別業務能力，支撐天翼看家產業鏈優化成熟，為交通、醫療、企業、政府、家庭等各類用戶提供優質服務，助力家庭安全、公共安全。

案例突破性

基於預處理的複雜人臉識別方案，突破性地將側臉、光照不均、遠處模糊等影響人臉識別成功率的複雜因素綜合地加以處理，利用側臉矯正、人臉光照矯正、遠處模糊人臉矯正等先進算法，對各類複雜場景下人臉圖像進行矯正，利用先進人臉識別模型對複雜場景下人臉圖像進行識別，從而提升人臉識別綜合成功率。

基於預處理的複雜人臉識別方案，提供複雜場景下攝像頭人臉識別的新方法，大幅提高複雜場景下攝像頭人臉識別的成功率，各類複雜場景下人臉識別成功率提高至92%以上，為解決安防監控現場環境複雜性帶來的人臉識別困難提供新方案，提升安防監控服務水平，可廣泛推廣至安防監控、人臉支付、人臉認證等各類領域。

技術要點

隨着AI技術的快速發展，基於計算機視覺的檢測和識別能力得以突飛猛進，在人臉識別領域，從基於傳統機器學習的特徵臉到基於深度學習的人臉識別，通用數據集下的人臉識別成功率從90%提升到到99.8%。人臉識別技術已經覆蓋到交通、醫療、企業、政府、家庭等領域，但由於受到光照、模糊、角度等各種因素的影響，在真實場景下傳統識別成功率大大降低,綜合成功率僅達85%，不足以滿足各類領域的應用需要。

為解決行業痛點，解決真實場景下光照不均、人臉模糊和側臉等因素對人臉識別的影響，提升複雜場景下人臉識別的成功率，同時提高天翼看家攝像頭場景下人臉識別的成功率，全面提升天翼看家產品的服務品質，加快天翼看家產業鏈成熟度，支撐中國電信天翼看家業務發展，提高核心競爭力，提出「基於預處理的複雜人臉識別方案」。

基於預處理的複雜人臉識別方案，是利用先進人臉識別技術，在現有正面人臉識別模型前加入預處理模塊，對側臉、光照不均、遠處模糊三類複雜場景人臉圖像進行矯正，將矯正後的正臉圖片輸入人臉識別模型進行識別，從而提升複雜場景下攝像頭人臉識別的成功率。

技術方案：基於預處理的複雜人臉識別方案，採用先進側臉矯正、人臉光照矯正、遠處模糊人臉矯正算法的預處理技術，和先進深度學習框架、神經網絡算法、人臉識別模型，打造人臉識別新方案，從而提升複雜場景下人臉識別的成功率。

1、部署深度學習框架

選用先進深度學習框架，PyTorch，部署分式PyTorch架構，實現模型運行成功率達到100%；

2、建立基於Retinaface的人臉檢測模型：

利用神經網絡算法Retinaface建立人臉檢測模型，並對人臉檢測能力IOU、ALG、DROP、WD等相關超參數進行調優，完成人臉檢測模型優化，獲取人臉框、坐標、置信度等信息，並輸出檢測結果。

3、建立預處理模塊

（1）利用CAPG-GAN構建側臉矯正模型，完成複雜場景人臉數據集訓練；

（2）基於Retinex理論的反射圖像估計建立人臉光照矯正模型，完成複雜場景人臉數據集訓練；

（3）基於FESNet構建遠處模糊人臉矯正模型，完成複雜場景人臉數據集訓練；

在預處理模塊中輸入待矯正人臉圖像，判斷人臉大小，根據人臉大小選擇FSRNet或CAPG-GAN算法對圖像進行初步矯正，通過基於Retinex的人臉光照補齊完成人臉圖像矯正。

4、建立基於ArcFace和DBSCAN的人臉識別模型：

利用ArcFace算法對人臉特徵提取，利用DBSCAN算法對人臉特徵值聚類，並對人臉識別能力超參數：模型使用的損失函數（LOS）、梯度下降動量值（MME）、模型的學習率衰減（LDE）、模型的 （WDE）、DBSCAN鄰域的距離閾值（ESP）、和DBSCAN近鄰距離度量（MET）等進行調優，構建人臉識別模型並完成訓練。

在人臉識別模型中輸入待識別圖片和底庫圖片，通過人臉特徵提取網絡進行特徵提取，利用DBSCAN算法進行特徵聚類，最終輸出人臉識別結果。

應用效果：通過「基於預處理的複雜人臉識別方案」，複雜場景下攝像頭人臉識別整體成功率達到92%以上，複雜場景下人臉識別成功率得到明顯的提升，為各類安防監控場景中，遠距離、用戶非配合的狀態下，快速準確完成人員身份識別，遠距離快速確認人員信息，實現智能預警。

突破性：基於預處理的複雜人臉識別方案，突破性地將側臉、光照不均、遠處模糊等影響人臉識別成功率的複雜因素綜合地加以處理，利用側臉矯正、人臉光照矯正、遠處模糊人臉矯正等先進算法，對各類複雜場景下人臉圖像進行矯正，利用先進人臉識別模型對複雜場景下人臉圖像進行識別，從而提升人臉識別綜合成功率。

創新點：1、可插拔的人臉預處理模塊，本期成果完成光照不均、遠處模糊和側臉矯正模塊，後續可以靈活嵌入其它預處理模塊；

2、光照不均的增強方法，結合人臉的特徵使用計算機視覺方法對光照不均的人臉進行圖像增強，提高人臉識別的準確率；

3、基於超分辨和特徵白化技術的人臉識別方法，使用超分辨和特徵白化技術對模糊的人臉進行圖像增強，提高人臉識別的準確率。

應用前景：基於預處理的複雜人臉識別方案，大幅提高了各類真實複雜場景下攝像頭人臉識別的成功率，為各類家庭安防、公共安防的需要提供了人臉識別新途徑，隨着人臉識別領域的不斷發展，複雜場景人臉識別成功率的提高，將為人臉支付、人臉認證、信息安全等各類商業應用提供新的服務方案。

預計經濟效益：基於預處理的複雜人臉識別方案，大大提高了複雜場景下攝像頭人臉識別的成功率，在提高中國電信人臉識別業務能力的同時，支撐天翼看家產業鏈優化成熟。

複雜場景下攝像頭人臉識別成功率的提高，將進一步打造天翼看家相關產品的優質服務質量體系，為各類用戶提供更優質的產品體驗，從而促進天翼看家相關產品銷量，為天翼智慧家庭公司帶來可觀的經濟收益。預計每年可為天翼看家產品新增月付費用戶10%，新增一次性付費用戶15%，預計每年新增收益2500萬左右。

預計社會效益：人臉識別廣泛服務於交通、醫療、企業、政府、家庭等各類用戶，基於預處理的複雜人臉識別方案，提高了複雜場景下攝像頭人臉識別的成功率，對中國電信人臉識別能力建設、提升人臉識別相關產品的服務能力及水平、助力家庭安全、公共安全有推進作用，同時，基於預處理的複雜人臉識別方案，為人臉識別成功率的提高提供新思路，針對各種真實場景下影響人臉識別成功率的因素，提供解決方案，將進一步助力人臉識別領域的建設發展，為人臉識別在人臉認證、人臉支付等商業領域應用提供可能。

另外，真實場景下複雜人臉識別成功率的提升，將進一步助力「雪亮工程」的建設發展，充分發揮視頻監控系統的作用，完善鄉村治安防控體系建設，為鄉村果園、魚塘、農田等場景提供「全覆蓋、無死角」的防盜系統，從而為「鄉村振興」戰略的逐步推進提供動力。