人脸识别目前面临的挑战是什么？

沈依依

人脸识别目前已经比较成熟，识别度非常高，哪怕现在人人戴口罩也能找出茫茫人海中唯一的你。

但这还远远不够，更大的挑战是深度的应用还要学会分析和推理，技术的瓶径限制了一些应用的深入。举个栗子，昨晚你和女朋友吵架了，今天你买束花跪地认错，女朋友微微一笑，你立马就可以判断她是原谅的笑还是铁了心分手的笑，人工制智能技术目前还做不到。

挑战不仅是技术的推进，甚至可能是社会风险和科学伦理。如果劫匪挟持人质去到了人脸识别ATM，我们该如何用哭脸报警而不是被身份确认提款呢？

大湾区凯哥

很高兴回答您的这个问题。

深圳侃哥

在回答题主的问题的时候，我觉得应该注意做『科研』和做『产品』之间的区别。论文中汇报的人脸识别技术是属于科研的行列。比如在 LFW 上 99.7%，这种数字的意义更多是让搞研究的那个圈子里面的人更加直观的了解到一些情况，你也知道，通常来说这个准确率是非常高的了，所以我们可以说『人脸识别技术在 LFW上已经很成熟了』，但是一模一样的技术，拿到真实环境下得到的准确率可能只有75%……也许会有些人觉得这是很可笑的，不，请不要笑，这是科研圈里朋友的普遍做法，不是没有苦衷的。

捣腾过 LFW 的朋友其实心里都清楚，这并不是一个很好的数据库。图片都是从网上下载的，人脸的质量也是千差万别，有人说这样才接近真实情况……但实际上距离大部分的实际应用场景还是太远了。

目前评价科研中算法的优劣的唯一方法就是找一个数据集，然后大家一起对比，数据集的不同算法得到的结果也会不同，然而……论文上通常是有报喜不报忧的恶习的，所以常常会有不公平的对比存在，随着越来越多更大的人脸数据集的慢慢增加，对于算法的评价会可能会变得稍微公平一些……即便是这样，论文里所谓的人脸识别技术，跟可用的『产品』之间的差距仍然很大。

这并不是说论文的算法不好，而是『产品』的天性。大部分产品都是针对性的解决一类或几类问题，产品讲究是速度，稳定性，成本，等等，不同的产品通常可以加入不同的先验甚至额外的硬件来提升产品的可用性。这是做『产品』和做『科研』的区别。

举两个容易理解的例子：

某著名手机厂商想开发一个自己的人脸解锁功能，在第一次使用手机的时候，经过一个人脸注册的过程，记录下手机主人的样子，在之后的使用中如果被触发，就进行人脸验证，解锁。这里你如果上来一个几十层网络的卷积网络，这个是不行的……因为速度很重要，内存也重要，如果你一个网络模型一上来就已经几十兆几百兆了，产品经理会疯的。做产品的往往是想在保证用户体验的情况下，使用最少的资源。所以最后的产品可能是……下面是我瞎掰的……检测到人脸，检测五官的基本 landmark，然后通过几何关系约束来缩小识别范围，再用简单的特征比如 LBP，在一个一千张主人人脸的数据库进行验证，验证里可能有各种 trick，并且这个一千张人脸的数据库也是实时更新的，比如当前识别正确了，那么就加入进去，如果识别错了，就把这个数据提取特征作为反例存起来……一个可用的产品总是包含了很多看似没有道理的 trick 的，但是就是这些构成了产品的核心技术。

另外一个例子，做人脸识别，但是是做煤矿工的……请自行脑补一脸煤的辛苦矿工。在这个场景下面，你连人脸检测都没法弄啊……加上光照和脸上煤的干扰，论文上的算法基本上是没办法用的。如果是你，你怎么去做识别？

做一个产品的时候，思路是需要很开阔的。比如人脸的检测实际上是可以通过双目视觉来做的，两个廉价摄像头，简单的算法通过三角化得到一个稀疏的深度图，利用深度信息来做人脸的检测，然后基于眼睛和嘴唇来做识别，眼睛和嘴的识别可以用卷积网络来做，但是真是的产品里面可能还会考虑身高信息，当然，在洞里还需要考虑补光的问题……

说完了这两个例子之后，再回到题主的问题上来吧：

『请问目前业内人脸识别技术的挑战和难点是什么。为什么没有成熟可靠的商业应用。但是论文中已经接近 99.7%了。实践和论文的差距是什么。是不是人脸识别的研究没得搞了。』

如果题主这里说的『业内』指的是科研行业，挑战和难点其实都不好说……有些问题是可解决的，有些问题是不可解决的，比如化妆和双胞胎的问题，其实长得像也是很普遍的例子。人脸识别这个行业存在一个由大佬们吹出来的硬伤，就是它在真实环境下总是无法达到 100%的可靠，但是总被吹成是极其可靠……以至于领域外的人瞪大眼睛激动地要往里砸钱要项目上线……所以人脸识别在产业界总会给土老板们带去失望。

稍微有点偏，别回来。

我假设这里的业内并不是『科研界』，而是工业界，产业界，『产品』界，那么有很多地方其实都有成熟应用了，比如海关的过关人脸识别系统，当然人家会加上身份证或者指纹来双重验证，比如人脸识别的门禁系统，这个作为产品已经有了，虽然发生了『司机卖掉赵薇豪宅那个事』，但我还是相信在这个应用场景下，这个产品是可以达到可用的程度的。人脸识别技术最大的一个客户可能就是政府了，这个是让我有些伤感的事情，同时我也觉得这个东西在公安系统里面也是『采购了，但是极少用到，领导来了，我们就演示一下 Demo，真办案了，还是要靠人来筛选一下以防疏漏』。

另外最近那些银行推出一些自动服务机器，里面有人脸识别功能，道理其实跟过海关一样，你需要的是身份证，人脸，密码甚至指纹……即便是把人脸识别关掉了……也是可以正常运作的……我常常好奇，为什么有些公司，不遗余力地去集中做一个产品落地很难的人脸识别技术……并且其做法仍然是按照学术那样，收集大量的数据集，然后交给科研人员，然后搞几个算法，提高准确率，然后把代码交给码农去优化，码农优化完，产品经理觉得仍然没法上线，但是上线压力太大，于是给科研和码农施压，科研人员也烦躁，只能过来给码农施压，码农无处诉苦，开始自我怀疑，失去自信，变得烦躁，更年期早到……

这可能是做科研出身的人，突然跑去做产品的通病。

论文和实践的差别在于数据和方法。针对数据选择方法，是用很多种方法融合，针对不同的情况调试不同的参数，使用不同的 trick，甚至使用外围的硬件辅助，最终的目的是提升产品的综合体验。人脸识别，实际的产品里面，最深奥的算法复杂程度也不会超过那些开源出来的已有算法，理解那些通用的算法，再去一线做产品应该足够了。但是注意，这些算法也许根本不会构成你产品的核心技术，真正的核心技术是你做产品的时候处理各种情况，各种数据的经验公式和方法。

在科研里，人脸识别技术还是有很多可以去研究的东西的，比如怎么用更小的数据更小的模型得到更好的准确率。比如怎么克服光照的影响，比如怎么通过局部特征来完成准确识别……。

飘舞的风信子

一，光照问题

光照问题是机器视觉重的老问题，在人脸识别中的表现尤为明显。目前方法未能达到使用的程度。

如何克服光照的影响？

二，姿态问题

与光照问题类似，姿态问题也是目前人脸识别研究中需要解决的一个技术难点。针对姿态的研究相对比较的少，目前多数的人脸识别算法主要针列正面、准正而人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。

哭，笑，愤怒、仰头、低头，左侧脸，右侧脸，如何识别？

三，遮挡问题

对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往彼监控对象都会带着眼镜，帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。

眼睛，帽子、刘海，伤疤，如何识别？

四，年龄变化

随着年龄的变化，面部外观也在变化，特别是对于青少年，这种变化更加的明显。对于不同的年龄段，人脸识别算法的识别率也不同。

不同时期的人脸像如何识别？少年、中年、老年。

五，图像质量

人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不一样，特别是对于那些低分辨率、噪声大、质量差的人脸图像(如手机摄像头拍摄的人脸图片、远程监控拍摄的图片等)如何进行有效地人脸识别是个需要关注的问题。同样的，对于高分辨图像对人脸识别算法的影响也需要进一步的研究。

摄像头，摄像机，远程监控，高端相机。。。。如何识别？图像质量参差不齐。

六，样本缺乏

基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方法需要大量的训练。由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。

学习样本不全怎么办，谁能保证样本的完备性？

七，海量数据

传统人脸识别方法如PCA、LDA等在小规模数据中可以很容易进行训练学习。但是对于海量数据，这些方法其训练过程难以进行，甚至有可能崩溃。

如何解决海量数据的学习问题？

八，大规模人脸识别

随着人脸数据库规模的增长，人脸算法的性能将呈现下降。

如何维持或提高大规模应用环境下的人脸识别算法的识别率？

莞漂徐哥

红狼79065560

电商品鉴

人脸识别技术应用在提升身份认证便捷度和效率的同时，也给个人隐私和数据保护带来了巨大的挑战。仅在2019年，媒体就报道了多起人脸识别技术使用不当的相关事件：

问题场景一——数据泄露隐患：2019年6月6日，微软公司疑似因隐私保护和授权瑕疵方面的原因删除了曾为全球最大的人脸识别数据库MS Celeb。据悉，MS Celeb数据库于2016年发布，拥有超过1000万张图像以及将近10万人的面部信息，用于培训全球科技公司和军事研究人员的面部识别系统。而在微软删除该数据库前，IBM、松下电气、阿里巴巴、辉达、日立、商汤科技、旷视科技等多个商业组织都曾使用过MS Celeb数据库。

问题场景二——使用必要性存疑：2019年8月21日，瑞典北斯部盖乐夫提市的一所高中因使用面部识别技术来监控学生的出勤情况，被瑞典数据监管机构（The Swedish Data Inspection Authority，DPA）处以20万瑞典克朗（人民币14.8万元）的罚款。这是欧盟的《通用数据保护条例》（General Data Protection Regulation，简称GDPR）生效以来，瑞典数据监管机构公布的首张罚单。瑞典数据监管机构认为，该学校使用面部识别技术来监控学生的出勤情况，事先未向瑞典DPA寻求咨询，在日常环境中对学生进行摄像监控等行为侵犯了学生的隐私，违反了GDPR关于处理敏感生物特征数据的规定。

问题场景三——滥用数据风险：此前，伊利诺伊州的一起集体诉讼案指控脸书公司滥用面部识别数据，并要求赔偿350亿美元，脸书要求美国一家法院驳回此案。2019年10月18日，旧金山第九巡回法院的三名法官组成的小组驳回了脸书的请求。此案涉及700万用户，脸书可能会面临向每个用户赔偿1000至5000美元的罚款，总罚款金额最高可能达到350亿美元。法庭文件说：“脸书的面部识别技术违反了伊利诺伊州的生物特征信息隐私法（BIPA）。违反BIPA的规定实际上损害了用户的隐私，或会对他们的隐私构成实质性的威胁。”

问题场景四——安全隐忧：2019年12月12日，美国人工智能公司Kneron测试团队在荷兰最大的机场史基浦机场用手机屏幕上的一张照片骗过了自助登机终端，再次引起了人们对人脸识别准确性和安全性的关注。此外，该团队还用一个特制的3D面具成功蒙骗了微信和支付宝等人脸识别支付系统。同样引起了人们对人脸识别支付安全性的担忧。

上述事件报道不仅引起了公众的对人脸识别技术应用边界与个人隐私保护的高度关注，也促使业界和监管者对一路高歌猛进的人脸识别应用进行深刻反思。

第一，严重侵犯个人隐私。首先，大部分公共场所在采集人脸信息时并未明确告知，使得被动采集成为常态；其次，在机场、火车站、公园、银行、学校、公司（小区）门禁或考勤等人脸识别的应用中用户几乎完全没有选择权利，只能被动接受；再次，人脸识别技术滥用，隐私安全风险高筑，面相分析、换脸、换装、试妆、测肤质等娱乐小程序，以及刷脸支付售货机等随处可见，毫无边界的人脸识别技术应用，正肆无忌惮地收集着用户的人脸数据及个人隐私。

第二，数据安全保障机制缺失。数据采集、存储与使用等规范缺失，导致数据泄漏风险极高。首先，当前关于人脸识别技术产品生产企业资质、产品的安全标准和市场准入标准，数据的存储资质和时限，以及对已获取数据的使用权限等缺少明确规定。其次，生产企业和提供应用服务的企业在数据存储和使用中缺乏透明度。再次，网络安全生态环境持续恶化，人脸数据库泄漏事件也时有发生。

第三，识别技术有待进一步完善。目前，人脸识别应用还达不到百分之百的准确。尤其是针对不同种族和民族群体识别的错误率差异比较大。例如，麻省理工媒体实验室和微软的一项合作研究曾显示，人脸识别的准确率与肤色高度相关。当被识别的图像中为白人时，正确率超过90%；而对于肤色较深的女性，准确率仅为65%。因此，用于比对的基础数据库不仅需要考虑种族和民族样本平衡性，也需要尽可能确保样本数量的有效性。此外，姿势、装饰（帽子、眼镜、口罩等）和光线等变量均会对识别结果产生影响。

第四，部分不当应用可能导致歧视。现今，人脸识别技术在招聘、交友、婚恋、教育等领域也屡见不鲜。通过对人脸数据的分析，对个体的性格、心理、能力、情商等进行评定，给出相应建议。然而，限于技术水平、原始数据精准度、算法隐含的价值判断，以及数据库样本量的有效性等诸多因素，使得这类应用可能扩大某种偏见，引发歧视。

此外，作为身份验证手段，人脸识别技术存在先天缺陷。相对于指纹、虹膜、声音、声纹、基因等其他用于身份识别的生物信息，人脸暴露度较高，更容易实现被动采集。这也同时意味着人脸信息的数据更容易被窃取，不仅可能侵犯个人隐私，还会带来财产损失，甚至大规模的数据库泄露还会对一个族群或国家带来安全风险。

针对上述问题，有必要对人脸识别技术的无限制推广和扩张及时“刹车”，并尽快采取相应措施防范和规制人脸识别技术的应用。

不一样的程序猿

科技码头

1、数据泄漏隐患。

2、使用必要性存疑。

3、滥用数据风险。

4、安全隐忧。

在以上应用场景中，还存着公共场所在采集人脸信息时并未明确告知，使得被动采集成为常态问题。数据安全保障机制的缺失，可能产生的不当应用，等等问题，有必要对人脸识别技术的无限制推广和扩张进行及时刹车，并尽快督促有关部门采取相应措施防范和规制人脸识别技术的应用。

新媒体制造

人工智能，人脸怎么可以作为支付系统，人脸又不是私密，可以保密，AI分分钟钟可以破解，既然不能提供服务，那就没有必要人脸识别了吧，当然公共领域需要，那就牵扯一个核心问题，那就是法理，人脸识别没有法律保护，不可能实现人脸识别，因为缺乏人脸分析数据库，剩下的都是白扯

關鍵字: 人脸识别 瓶径 挑战