11.29 将“马云”的表情放到“特朗普”脸上?AI做到了

图灵TOPIA

编译:安然

最近,韩国首尔一家信息技术企业Hyper connect的研究人员开发了一种名为“MarioNETte”的工具,训练AI将一个人的面部动作映射到目标头像上。


“MarioNETte”可以实现只通过网络摄像头或图片就能逼真地处理历史人物或政治家的面部特征。

将“马云”的表情放到“特朗普”脸上?AI做到了

这一目标的实现一定程度上归功于尖端的机器学习技术。研究人员称,即使被操纵的脸和被操纵的人之间存在“明显”的不匹配,它的性能也优于其他所有基线。


从技术上讲,MarioNETte是一种面部重现工具,其目的是通过人的运动来合成一张模拟的脸,同时保持脸的外形不变。


这并不是一个新想法,但以前的方法要么需要几分钟的时间训练数据,且需要重新设定目标,要么在处理大的姿势时会扭曲目标的特征。

MarioNETte通过整合三个新要素来提高技术水平: image attention block、目标特征对齐和landmark transformer。MarioNETte不需要标记数据的目标,与需要人工注释示例的方法相反。

将“马云”的表情放到“特朗普”脸上?AI做到了

研究人员使用VoxCeleb1和CelebV对MarioNETte进行了训练和测试。


使用来自VoxCeleb1的1,251名不同的名人对模型和基线进行了训练,并通过从100个随机选择的VoxCeleb1视频中抽取2,083个图像集(加上CelebV中的2,000个图像集)采样,对一组模型进行了测试。

结果:在多达八张目标图像上,除了PSNR ,MarioNETte超越了所有其他模型。


在一项用户研究中,其中100名志愿者被要求根据质量和真实性从不同模型生成的两幅图像中选择其中一幅,MarioNETte的输出排名高于其他所有基准。


将“马云”的表情放到“特朗普”脸上?AI做到了

研究人员将继续对landmark transformer进行改进,使其更具说服力。“我们提出的方法不需要额外的微调来进行身份适配,这大大增加了模型在野外部署时的实用性,”合著者写道:“该论文详细描述MarioNETte架构和验证,我们的实验也证明了该方法的优越性。”

这项工作可能使摄像师能够在没有运动跟踪设备的情况下,以低廉的成本制作动画人物。但它也可能被滥用于创作高度逼真的赝品,也就是用现有的图像或视频中的一个人替换成另一个人的图像。


将“马云”的表情放到“特朗普”脸上?AI做到了

在不到一年的时间内,在线欺诈视频的数量增长了84%,促使Pew Center进行了调查。受访者表示,他们预计社交媒体上分享的新闻中有57%的消息“很大程度上不准确”。


美国有四分之三的人赞成采取措施来限制经过更改的视频和图像,Google和Facebook等公司已经发布了旨在检测深造假的数据集和AI模型。

原文链接:

https://venturebeat.com/2019/11/27/researchers-train-ai-to-map-a-persons-facial-movements-to-any-target-headshot/


视频点击预测大赛火热进行中


3万元奖金、证书、实习、就业机会已准备就位,快叫上小伙伴一起来组队参赛吧。

赛题:希望参赛者通过已有的用户信息、视频信息以及他们是否观看过某些视频,来预测我们推荐给这些用户的视频对方是否会观看。


个人、高等院校、科研单位、互联网企业、创业团队、学生社团等人员均可报名。

报名及组队时间:即日起至2020年2月1日


报名入口:


http://www.turingtopia.com/competitionnew/detail/e4880352b6ef4f9f8f28e8f98498dbc4/sketch


分享到:


相關文章: