人臉識別目前面臨的挑戰是什麼？

沈依依

人臉識別目前已經比較成熟，識別度非常高，哪怕現在人人戴口罩也能找出茫茫人海中唯一的你。

但這還遠遠不夠，更大的挑戰是深度的應用還要學會分析和推理，技術的瓶徑限制了一些應用的深入。舉個栗子，昨晚你和女朋友吵架了，今天你買束花跪地認錯，女朋友微微一笑，你立馬就可以判斷她是原諒的笑還是鐵了心分手的笑，人工制智能技術目前還做不到。

挑戰不僅是技術的推進，甚至可能是社會風險和科學倫理。如果劫匪挾持人質去到了人臉識別ATM，我們該如何用哭臉報警而不是被身份確認提款呢？

大灣區凱哥

很高興回答您的這個問題。

深圳侃哥

在回答題主的問題的時候，我覺得應該注意做『科研』和做『產品』之間的區別。論文中彙報的人臉識別技術是屬於科研的行列。比如在 LFW 上 99.7%，這種數字的意義更多是讓搞研究的那個圈子裡面的人更加直觀的瞭解到一些情況，你也知道，通常來說這個準確率是非常高的了，所以我們可以說『人臉識別技術在 LFW上已經很成熟了』，但是一模一樣的技術，拿到真實環境下得到的準確率可能只有75%……也許會有些人覺得這是很可笑的，不，請不要笑，這是科研圈裡朋友的普遍做法，不是沒有苦衷的。

搗騰過 LFW 的朋友其實心裡都清楚，這並不是一個很好的數據庫。圖片都是從網上下載的，人臉的質量也是千差萬別，有人說這樣才接近真實情況……但實際上距離大部分的實際應用場景還是太遠了。

目前評價科研中算法的優劣的唯一方法就是找一個數據集，然後大家一起對比，數據集的不同算法得到的結果也會不同，然而……論文上通常是有報喜不報憂的惡習的，所以常常會有不公平的對比存在，隨著越來越多更大的人臉數據集的慢慢增加，對於算法的評價會可能會變得稍微公平一些……即便是這樣，論文裡所謂的人臉識別技術，跟可用的『產品』之間的差距仍然很大。

這並不是說論文的算法不好，而是『產品』的天性。大部分產品都是針對性的解決一類或幾類問題，產品講究是速度，穩定性，成本，等等，不同的產品通常可以加入不同的先驗甚至額外的硬件來提升產品的可用性。這是做『產品』和做『科研』的區別。

舉兩個容易理解的例子：

某著名手機廠商想開發一個自己的人臉解鎖功能，在第一次使用手機的時候，經過一個人臉註冊的過程，記錄下手機主人的樣子，在之後的使用中如果被觸發，就進行人臉驗證，解鎖。這裡你如果上來一個幾十層網絡的卷積網絡，這個是不行的……因為速度很重要，內存也重要，如果你一個網絡模型一上來就已經幾十兆幾百兆了，產品經理會瘋的。做產品的往往是想在保證用戶體驗的情況下，使用最少的資源。所以最後的產品可能是……下面是我瞎掰的……檢測到人臉，檢測五官的基本 landmark，然後通過幾何關係約束來縮小識別範圍，再用簡單的特徵比如 LBP，在一個一千張主人人臉的數據庫進行驗證，驗證裡可能有各種 trick，並且這個一千張人臉的數據庫也是實時更新的，比如當前識別正確了，那麼就加入進去，如果識別錯了，就把這個數據提取特徵作為反例存起來……一個可用的產品總是包含了很多看似沒有道理的 trick 的，但是就是這些構成了產品的核心技術。

另外一個例子，做人臉識別，但是是做煤礦工的……請自行腦補一臉煤的辛苦礦工。在這個場景下面，你連人臉檢測都沒法弄啊……加上光照和臉上煤的干擾，論文上的算法基本上是沒辦法用的。如果是你，你怎麼去做識別？

做一個產品的時候，思路是需要很開闊的。比如人臉的檢測實際上是可以通過雙目視覺來做的，兩個廉價攝像頭，簡單的算法通過三角化得到一個稀疏的深度圖，利用深度信息來做人臉的檢測，然後基於眼睛和嘴唇來做識別，眼睛和嘴的識別可以用卷積網絡來做，但是真是的產品裡面可能還會考慮身高信息，當然，在洞裡還需要考慮補光的問題……

說完了這兩個例子之後，再回到題主的問題上來吧：

『請問目前業內人臉識別技術的挑戰和難點是什麼。為什麼沒有成熟可靠的商業應用。但是論文中已經接近 99.7%了。實踐和論文的差距是什麼。是不是人臉識別的研究沒得搞了。』

如果題主這裡說的『業內』指的是科研行業，挑戰和難點其實都不好說……有些問題是可解決的，有些問題是不可解決的，比如化妝和雙胞胎的問題，其實長得像也是很普遍的例子。人臉識別這個行業存在一個由大佬們吹出來的硬傷，就是它在真實環境下總是無法達到 100%的可靠，但是總被吹成是極其可靠……以至於領域外的人瞪大眼睛激動地要往裡砸錢要項目上線……所以人臉識別在產業界總會給土老闆們帶去失望。

稍微有點偏，別回來。

我假設這裡的業內並不是『科研界』，而是工業界，產業界，『產品』界，那麼有很多地方其實都有成熟應用了，比如海關的過關人臉識別系統，當然人家會加上身份證或者指紋來雙重驗證，比如人臉識別的門禁系統，這個作為產品已經有了，雖然發生了『司機賣掉趙薇豪宅那個事』，但我還是相信在這個應用場景下，這個產品是可以達到可用的程度的。人臉識別技術最大的一個客戶可能就是政府了，這個是讓我有些傷感的事情，同時我也覺得這個東西在公安系統裡面也是『採購了，但是極少用到，領導來了，我們就演示一下 Demo，真辦案了，還是要靠人來篩選一下以防疏漏』。

另外最近那些銀行推出一些自動服務機器，裡面有人臉識別功能，道理其實跟過海關一樣，你需要的是身份證，人臉，密碼甚至指紋……即便是把人臉識別關掉了……也是可以正常運作的……我常常好奇，為什麼有些公司，不遺餘力地去集中做一個產品落地很難的人臉識別技術……並且其做法仍然是按照學術那樣，收集大量的數據集，然後交給科研人員，然後搞幾個算法，提高準確率，然後把代碼交給碼農去優化，碼農優化完，產品經理覺得仍然沒法上線，但是上線壓力太大，於是給科研和碼農施壓，科研人員也煩躁，只能過來給碼農施壓，碼農無處訴苦，開始自我懷疑，失去自信，變得煩躁，更年期早到……

這可能是做科研出身的人，突然跑去做產品的通病。

論文和實踐的差別在於數據和方法。針對數據選擇方法，是用很多種方法融合，針對不同的情況調試不同的參數，使用不同的 trick，甚至使用外圍的硬件輔助，最終的目的是提升產品的綜合體驗。人臉識別，實際的產品裡面，最深奧的算法複雜程度也不會超過那些開源出來的已有算法，理解那些通用的算法，再去一線做產品應該足夠了。但是注意，這些算法也許根本不會構成你產品的核心技術，真正的核心技術是你做產品的時候處理各種情況，各種數據的經驗公式和方法。

在科研裡，人臉識別技術還是有很多可以去研究的東西的，比如怎麼用更小的數據更小的模型得到更好的準確率。比如怎麼克服光照的影響，比如怎麼通過局部特徵來完成準確識別……。

飄舞的風信子

一，光照問題

光照問題是機器視覺重的老問題，在人臉識別中的表現尤為明顯。目前方法未能達到使用的程度。

如何克服光照的影響？

二，姿態問題

與光照問題類似，姿態問題也是目前人臉識別研究中需要解決的一個技術難點。針對姿態的研究相對比較的少，目前多數的人臉識別算法主要針列正面、準正而人臉圖像，當發生俯仰或者左右側而比較厲害的情況下，人臉識別算法的識別率也將會急劇下降。

哭，笑，憤怒、仰頭、低頭，左側臉，右側臉，如何識別？

三，遮擋問題

對於非配合情況下的人臉圖像採集，遮擋問題是一個非常嚴重的問題。特別是在監控環境下，往往彼監控對象都會帶著眼鏡，帽子等飾物，使得被採集出來的人臉圖像有可能不完整，從而影響了後面的特徵提取與識別，甚至會導致人臉檢測算法的失效。

眼睛，帽子、劉海，傷疤，如何識別？

四，年齡變化

隨著年齡的變化，面部外觀也在變化，特別是對於青少年，這種變化更加的明顯。對於不同的年齡段，人臉識別算法的識別率也不同。

不同時期的人臉像如何識別？少年、中年、老年。

五，圖像質量

人臉圖像的來源可能多種多樣，由於採集設備的不同，得到的人臉圖像質量也不一樣，特別是對於那些低分辨率、噪聲大、質量差的人臉圖像(如手機攝像頭拍攝的人臉圖片、遠程監控拍攝的圖片等)如何進行有效地人臉識別是個需要關注的問題。同樣的，對於高分辨圖像對人臉識別算法的影響也需要進一步的研究。

攝像頭，攝像機，遠程監控，高端相機。。。。如何識別？圖像質量參差不齊。

六，樣本缺乏

基於統計學習的人臉識別算法是目前人臉識別領域中的主流算法，但是統計學習方法需要大量的訓練。由於人臉圖像在高維空間中的分佈是一個不規則的流形分佈，能得到的樣本只是對人臉圖像空間中的一個極小部分的採樣，如何解決小樣本下的統計學習問題有待進一步的研究。

學習樣本不全怎麼辦，誰能保證樣本的完備性？

七，海量數據

傳統人臉識別方法如PCA、LDA等在小規模數據中可以很容易進行訓練學習。但是對於海量數據，這些方法其訓練過程難以進行，甚至有可能崩潰。

如何解決海量數據的學習問題？

八，大規模人臉識別

隨著人臉數據庫規模的增長，人臉算法的性能將呈現下降。

如何維持或提高大規模應用環境下的人臉識別算法的識別率？

莞漂徐哥

紅狼79065560

電商品鑑

人臉識別技術應用在提升身份認證便捷度和效率的同時，也給個人隱私和數據保護帶來了巨大的挑戰。僅在2019年，媒體就報道了多起人臉識別技術使用不當的相關事件：

問題場景一——數據洩露隱患：2019年6月6日，微軟公司疑似因隱私保護和授權瑕疵方面的原因刪除了曾為全球最大的人臉識別數據庫MS Celeb。據悉，MS Celeb數據庫於2016年發佈，擁有超過1000萬張圖像以及將近10萬人的面部信息，用於培訓全球科技公司和軍事研究人員的面部識別系統。而在微軟刪除該數據庫前，IBM、松下電氣、阿里巴巴、輝達、日立、商湯科技、曠視科技等多個商業組織都曾使用過MS Celeb數據庫。

問題場景二——使用必要性存疑：2019年8月21日，瑞典北斯部蓋樂夫提市的一所高中因使用面部識別技術來監控學生的出勤情況，被瑞典數據監管機構（The Swedish Data Inspection Authority，DPA）處以20萬瑞典克朗（人民幣14.8萬元）的罰款。這是歐盟的《通用數據保護條例》（General Data Protection Regulation，簡稱GDPR）生效以來，瑞典數據監管機構公佈的首張罰單。瑞典數據監管機構認為，該學校使用面部識別技術來監控學生的出勤情況，事先未向瑞典DPA尋求諮詢，在日常環境中對學生進行攝像監控等行為侵犯了學生的隱私，違反了GDPR關於處理敏感生物特徵數據的規定。

問題場景三——濫用數據風險：此前，伊利諾伊州的一起集體訴訟案指控臉書公司濫用面部識別數據，並要求賠償350億美元，臉書要求美國一家法院駁回此案。2019年10月18日，舊金山第九巡迴法院的三名法官組成的小組駁回了臉書的請求。此案涉及700萬用戶，臉書可能會面臨向每個用戶賠償1000至5000美元的罰款，總罰款金額最高可能達到350億美元。法庭文件說：“臉書的面部識別技術違反了伊利諾伊州的生物特徵信息隱私法（BIPA）。違反BIPA的規定實際上損害了用戶的隱私，或會對他們的隱私構成實質性的威脅。”

問題場景四——安全隱憂：2019年12月12日，美國人工智能公司Kneron測試團隊在荷蘭最大的機場史基浦機場用手機屏幕上的一張照片騙過了自助登機終端，再次引起了人們對人臉識別準確性和安全性的關注。此外，該團隊還用一個特製的3D面具成功矇騙了微信和支付寶等人臉識別支付系統。同樣引起了人們對人臉識別支付安全性的擔憂。

上述事件報道不僅引起了公眾的對人臉識別技術應用邊界與個人隱私保護的高度關注，也促使業界和監管者對一路高歌猛進的人臉識別應用進行深刻反思。

第一，嚴重侵犯個人隱私。首先，大部分公共場所在採集人臉信息時並未明確告知，使得被動採集成為常態；其次，在機場、火車站、公園、銀行、學校、公司（小區）門禁或考勤等人臉識別的應用中用戶幾乎完全沒有選擇權利，只能被動接受；再次，人臉識別技術濫用，隱私安全風險高築，面相分析、換臉、換裝、試妝、測膚質等娛樂小程序，以及刷臉支付售貨機等隨處可見，毫無邊界的人臉識別技術應用，正肆無忌憚地收集著用戶的人臉數據及個人隱私。

第二，數據安全保障機制缺失。數據採集、存儲與使用等規範缺失，導致數據洩漏風險極高。首先，當前關於人臉識別技術產品生產企業資質、產品的安全標準和市場準入標準，數據的存儲資質和時限，以及對已獲取數據的使用權限等缺少明確規定。其次，生產企業和提供應用服務的企業在數據存儲和使用中缺乏透明度。再次，網絡安全生態環境持續惡化，人臉數據庫洩漏事件也時有發生。

第三，識別技術有待進一步完善。目前，人臉識別應用還達不到百分之百的準確。尤其是針對不同種族和民族群體識別的錯誤率差異比較大。例如，麻省理工媒體實驗室和微軟的一項合作研究曾顯示，人臉識別的準確率與膚色高度相關。當被識別的圖像中為白人時，正確率超過90%；而對於膚色較深的女性，準確率僅為65%。因此，用於比對的基礎數據庫不僅需要考慮種族和民族樣本平衡性，也需要儘可能確保樣本數量的有效性。此外，姿勢、裝飾（帽子、眼鏡、口罩等）和光線等變量均會對識別結果產生影響。

第四，部分不當應用可能導致歧視。現今，人臉識別技術在招聘、交友、婚戀、教育等領域也屢見不鮮。通過對人臉數據的分析，對個體的性格、心理、能力、情商等進行評定，給出相應建議。然而，限於技術水平、原始數據精準度、算法隱含的價值判斷，以及數據庫樣本量的有效性等諸多因素，使得這類應用可能擴大某種偏見，引發歧視。

此外，作為身份驗證手段，人臉識別技術存在先天缺陷。相對於指紋、虹膜、聲音、聲紋、基因等其他用於身份識別的生物信息，人臉暴露度較高，更容易實現被動採集。這也同時意味著人臉信息的數據更容易被竊取，不僅可能侵犯個人隱私，還會帶來財產損失，甚至大規模的數據庫洩露還會對一個族群或國家帶來安全風險。

針對上述問題，有必要對人臉識別技術的無限制推廣和擴張及時“剎車”，並儘快採取相應措施防範和規制人臉識別技術的應用。

不一樣的程序猿

科技碼頭

1、數據洩漏隱患。

2、使用必要性存疑。

3、濫用數據風險。

4、安全隱憂。

在以上應用場景中，還存著公共場所在採集人臉信息時並未明確告知，使得被動採集成為常態問題。數據安全保障機制的缺失，可能產生的不當應用，等等問題，有必要對人臉識別技術的無限制推廣和擴張進行及時剎車，並儘快督促有關部門採取相應措施防範和規制人臉識別技術的應用。

新媒體制造

人工智能，人臉怎麼可以作為支付系統，人臉又不是私密，可以保密，AI分分鐘鍾可以破解，既然不能提供服務，那就沒有必要人臉識別了吧，當然公共領域需要，那就牽扯一個核心問題，那就是法理，人臉識別沒有法律保護，不可能實現人臉識別，因為缺乏人臉分析數據庫，剩下的都是白扯

關鍵字: 人臉識別 瓶徑 科技