From: 武漢大學；編譯:T.R
為了有效阻止新冠病毒的傳播和感染，近兩個多月來世界各國人民都帶上了口罩。雖然口罩能夠幫助我們抵禦病毒 ，但先前已經廣泛使用的人臉識別系統卻無法正常工作了，包括乘坐交通工具認證、門禁、打卡、手機解鎖和付款等功能都無法正常進行。因此研發出佩戴口罩的人臉識別系統對於復工復產和正常的社會經濟活動具有十分重要的作用。
目前絕大多數的人臉識別系統都需要大規模的數據來訓練深度學習。雖然很多公司提出了自己的口罩人臉識別方案，但目前卻還沒有開源的人臉佩戴口罩公開數據集。
為了有效助力疫情防控中的人臉識別，促進復工復產的順利進行，來自武漢大學的研究人員提出了三種佩戴口罩的人臉數據集，包括
1、口罩佩戴檢測人臉數據集（Masked Face Detection Dataset，MFDD)
2、真實世界的口罩佩戴人臉識別數據集（Real-world Masked Face Recognition Dataset, RMFRD）
3、模擬口罩佩戴人臉識別數據（Simulated Masked Face Recognition Dataset, SMFRD）
其中RMFRD是目前世界上最大的公開人臉口罩佩戴數據集 ，可以廣泛用於人臉識別、口罩佩戴檢測和多種識別任務中。實驗表明，這一數據和對應方法可以實現95%的佩戴口罩人臉識別準確率。
口罩抗疫，技術護航
我們周圍的每個人幾乎都在這次疫情中帶起了口罩保護自己，為抗疫作出自己的貢獻。然而在過去一段時間，人臉識別這一計算機視覺最為重要的應用在諸多場合失效了，除了日常生活不便外、在公共場所人臉識別的失效將會帶來較大的安全風險。同時在疫情期間，非接觸式的人臉識別與授權驗證的優勢也顯現了出來，比人臉識別認證比指紋識別或輸入密碼更加安全。
人臉識別技術基本上依賴於面部關鍵點和特徵的檢測，絕大部分都是利用深度學習技術實現。在佩戴口罩的情況下只能漏出眉眼和額頭，需要對算法進行重新訓練，更重要的是需要龐大的佩戴口罩人臉數據對模型進行訓練。目前需求最大的任務要數口罩佩戴檢測和佩戴口罩人臉識別兩個應用了。
目前進入公共場所都需要佩戴口罩，利用視覺檢測進入場所的個人是否佩戴口罩對於疫情防控十分必要！而佩戴口罩者人臉身份識別則對於各類需要人臉識別認證、授權和支付的場合至關重要。這兩類任務需要不同的數據集進行訓練，前者只需要佩戴口罩的人臉樣本而後者則需要同一主體佩戴口罩和正常狀況下的多張照片，構建的難度更大。針對用途的不同，研究人員分類構建了口罩佩戴檢測數據集MFDD，真實口罩人臉識別數據集RMFRD和模擬人臉口罩數據集SMFRD。
三種數據集，瞭解一下！
MFDD的數據主要來源於兩部分：其中一部分數據來自於aizoo.com先前的研究，而另一部分則從互聯網上爬取，並對其進行了口罩佩戴和位置標註，最終構建了包含2771張口罩佩戴圖片。MFDD數據可用於訓練精確的佩戴口罩的人臉檢測模型，同時可以作為口罩人臉識別的預處理工具。此外還可用於判斷圖像中的個人是否按照規定佩戴口罩。
RMFRD則使用爬蟲爬取公眾人物的正面照和對應的口罩人臉照，並利用人工去除一系列不符合要求的人臉圖像。隨後利用LabelMe剪切了人物的頭部從而得到了包含525個人的90000張頭像。這是目前最大的公開人臉佩戴口罩數據集，下圖顯示了一些數據樣本：
為了擴充數據的多樣性，研究人員同時製作了合成數據集SMFRD，利用Dlib將口罩合成到現有的大規模人臉數據集上（包括LFW和Webface數據集），通過這樣的方法研究人員構建了包含一萬個人的五十萬張合成口罩佩戴圖像。下圖顯示了一系列合成的口罩佩戴圖像。
口罩佩戴人臉識別
人臉識別基本分為兩種場景：受控和非受控環境。
其中非受控環境主要是公共監控下，人臉的距離、光照、位姿、遮擋等帶來的不確定性，這種場景下的識別精度較低，再加上口罩後會使得精度進一步下降。
而受控場景主要包括公司門禁、打卡、火車站人臉查驗和手機解鎖等場景，這些場景具有高質量的正面照使得佩戴口罩識別的難度有所下降。即使口罩遮擋了部分面部，上半部分的眉眼額等特徵也可以被用於人臉識別。
在本研究中提出的人臉識別技術兼顧了兩方面的因素，一方面是構建數據集，另一面則充分利用未被遮擋部分的人臉特徵。研究人員充分利用了現有公開人臉數據集，並結合上文中提出的數據集來訓練面部-眉眼多粒度口罩人臉識別模型。研究人員對人臉輪廓、眼部、眼周圍、前額等面部可見區域的關鍵特徵使用了不同的注意力權重，有效地解決了面部可識別特徵的不平衡分佈問題。在這些方法的提升下，研究人員最終將模型的識別精度從50%提升到了95%。
應用與展望
也許是疫情來勢兇猛，只有少數機構實現了人臉口罩佩戴情況下的準確識別。據作者瞭解，商湯目前在50%鼻子暴露的情況下達到了85%的準確率，漢王科技也達到了85%的識別精度，小視科技則報道了90%的識別精度。而本文提出的面部-眉眼多粒度口罩人臉識別模型則達到了95%的識別精度，但與常規情況下達到99%的人臉識別相比還不是太可靠。
而在另一識別主體是否佩戴口罩的任務中，騰訊、百度和京東等公司都達到了超過99%的精度。本文提出的數據集和算法將有效提升口罩佩戴檢測和佩戴口罩人臉識別的精度，為基於人臉的授權、驗證等場景應用提供較好的解決方案，為疫情期間甚至冬季霧霾期間佩戴口罩情況下的各類人臉識別場景作出貢獻。
如果想要詳細瞭解數據集內容，請參看：
https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset
山川異域，風月同天；
共同戰疫，全球加油！
-The End-
將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構，旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。
將門創新服務專注於使創新的技術落地於真正的應用場景，激活和實現全新的商業價值，服務於行業領先企業和技術創新型創業公司。
將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。
將門創投基金專注於投資通過技術創新激活商業場景，實現商業價值的初創企業，關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在近四年的時間裡，將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”: [email protected]
閱讀更多 將門創投 的文章
