鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?

“科技改变追星生活。”


近日,B站上出现了多个鹿晗AI换脸的视频,因为换脸后的人脸轮廓、表情非常自然,加上鹿晗本人颜值出挑,很多网友自称成了鹿晗的AI粉。


鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?

B站截图

这些视频多由UP主制作并上传,时长约2-4分钟左右。


与此同时,日前同样因为AI换脸被推上热搜的古装网剧《三千鸦杀》迎来大结局。剧中被换脸的角色“青青”就没这么幸运了,不但没有AI粉,自开播以来就因“技术太差”被网民“群嘲”是车祸现场,“五分钱换脸”“画面有点诡异”“一个人毁了整部剧”等评论充斥在弹幕和微博评论中。


鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?

《三千鸦杀》中的AI换脸效果呈现

片方换脸的原因是,剧中“青青”一角的饰演者刘露因大闹公共场所被拘留,如今替代刘露饰演青青一角的演员是张鼎鼎。但呈现出的效果差强人意,角色换脸后的五官明显大于常人,表情生硬,脸部边缘还出现了模糊、扭曲的情况。


“片方想要挽回‘劣迹艺人’造成的损失可以理解,但是处理方式过于低劣。如果选择AI换脸,至少也要达到之前B站up主‘换脸哥’混剪的效果,结果呈现出来的是美图秀秀的水平,面部扭曲、表情生硬、脖子和头颜色完全分离。”在影视行业工作6年的陈倾对燃财经表示。


AI换脸并不是首次应用在国产影视剧中,2019年播出的《封神演义》《光荣时代》《长安十二时辰》以及刚刚完结的《时光与你都很甜》中,都使用了该技术,但效果不尽如人意。


简单来说,这是一种先通过视频/图片采集一位演员的面部表情,再通过转换编码给另一位演员“换脸”的技术。此前这项技术进入公众视野,是2019年B站up主“换脸哥”将94版《射雕英雄传》中朱茵的脸替换成杨幂,以及陌陌旗下的ZAO App在朋友圈掀起的“换脸”风潮。


多位业内人士对燃财经表示,《三千鸦杀》中的换脸效果的确不太理想,但背后不是只有技术原因这么简单。这次影视剧中被“群嘲”的AI换脸操作与ZAO相比,为何效果不佳?AI换脸成本如何?自娱自乐效果尚可,一商用就“露怯”,这项技术是否真的有应用市场?


被群嘲的AI换脸术比不过ZAO?


AI换脸技术最早出现在2017年,也被叫做“深度伪造技术”(DeepFake),简单来说,就是通过人工智能深度学习技术将视频中出现的人脸替换成另一张脸。这一技术的鼻祖是一位名叫“DeepFake”的开发者。同年,他将这项技术开源,他的名字也就成了AI换脸技术的统称。


智能互动视频播放器技术平台极链科技Video++联合创始人董慧智告诉燃财经,DeepFake这套算法的弱点就在于,脸部边缘的处理,尤其是在较为夸张的脸部表情处理上,还没有做过深度处理,因此每家公司在实际使用中都要自己做一些优化处理。


他从《三千鸦杀》的换脸效果判断,“背后的换脸团队应该是在DeepFake开源算法的基础上做了一些优化,只是优化得不是特别好,在表情和动作,尤其是脸部边缘处理上还是存在一些问题,因此从用户角度来看效果确实比较僵硬”。


鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?

《三千鸦杀》因角色AI换脸在微博被“群嘲”


此次AI换脸的效果,也被众多用户拿来与曾经火爆一时的换脸工具ZAO进行对比。


2019年8月30日,“仅需一张照片,出演天下好戏”的ZAO App上线,它也是基于DeepFake算法演变出的产品之一。


鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?

ZAO App的功能介绍

在瑞莱智慧RealAI产品负责人唐家渝看来,“其实ZAO的大部分视频脸部边缘处理得也不是很好,估计是它的建模过程学习到的特征也不是特别好。”


ZAO的效果虽然看起来略好一些,但也不代表技术一定更优,因为两者使用场景不同,难度不同。


“AI技术的核心在于训练的过程,训练后的模型应用于同一领域,很多算法的准确度可以接近100%,这是AI有优势的地方;但缺点是与人类相比,AI的联想能力较弱,没有训练过的内容几乎不会。”董慧智说。


众所周知,ZAO里可供用户换脸的影视剧片段是特定场景,也就是说,技术难度相对较小。董慧智分析,ZAO背后需要训练的时间比较长,需要选定视频库中的片段,对其中男女主角的脸部进行长时间的学习和训练,不断调参,经过线下预处理再上线,用户的使用效果自然不错。


而影视剧中的临时换脸难度更大,需要在短时间内,对一个未经训练的影视剧进行AI批量换脸。董慧智对燃财经表示,AI分训练和推理两个阶段,前期训练的过程很长,可能要一到两周甚至几个月,而一次推理过程也就是几百毫秒。因此一般情况下,提供技术的AI公司受限于成本和时间要求,只能用有限的样本来训练模型,推理时却面对的是海量多样化的视频,效果不是特别理想。


在董慧智看来,两者难度的差异相当于,ZAO是开卷考试,所有题目都已经做过,烂熟于胸;而影视剧中的AI换脸属于闭卷考,做的题目都是没学过的,只是利用原来学过的一些知识和经验去重做一遍,效果差距自然很大。


AI换脸的真实水平与成本难题


据唐家渝介绍,影视剧AI换脸的效果与剧中人物的角度正面与否、光照条件有直接关系。也就是说,如果采用比较前沿的算法,上述两个条件较好的情况下,数据采集充分,最终建模的效果会比较好,肉眼基本难以分辨,除非场景的复杂度较高,比如脸部被一片树叶遮挡,这就需要后期的人工修复了。


“我看剧(《三千鸦杀》)中有的片段,人物都是相对正面的角度,光线看起来也还不错,在这样的情况下,换脸面部依旧没有贴合,说明技术确实一般。”唐家渝说。


那我们看到的B站up主“换脸哥”以及“AI鹿晗”的作品,还有很多好莱坞作品为何能够以假乱真呢?


“有点炫技的意思。”董慧智认为B站up主“换脸哥”的作品(将94版《射雕英雄传》中朱茵的脸替换成杨幂),应该是经过后期人工处理的,效仿好莱坞一些特效软件,人工干预、时间长、造价高。


鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?

94版《射雕英雄传》中朱茵的脸替换成杨幂

那么,AI公司如果接到影视剧换脸的任务后进行重新训练和应用是否可以?答案是可以,但要保证训练的速度足够快。“这样做很不经济,相当于每造一幢小房子,就要请国际顶尖设计师来设计一遍,造价太高了。”董慧智补充道。


在好莱坞电影史上,“换脸”技术早就被广泛应用于影视剧中,甚至创造出一个虚拟的真人出来,当然造价也是高得惊人。


最具代表性的要数2015年的《速度与激情7》,直接让去世的主演保罗·沃克“复活”了。据此前外媒报道,只用CGI(计算机合成图像)技术一项,就将这部电影的制作成本从原计划的2亿美金提升至了2.5亿美金。


2019年上映的电影《双子杀手》更是将CGI技术向前推了一步,创造出一个减龄至23岁的威尔·史密斯,与真人版51岁的威尔·史密斯进行近身搏斗。


这不是单纯的对男主角威尔·史密斯进行面部“减龄”,而是从肌肤、骨骼、眼睛、牙齿光泽各个方面进行再造。


鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?

《双子杀手》中真假威尔·史密斯近身搏斗的场景

要实现这样的效果,首先需要数据准备,通过传感器收集演员不同的脸部姿态、角度、表情以及光照的脸部图像,其次需要进行专门的数据处理,通过电脑进行数字维度上的转换,最后依照计算机系统对人脸表情变化的特征点,在虚拟形象上重构。当然,在制作部门建模的时候参考了大量威尔·史密斯年轻时拍过的电影画面。


这一场真假威尔·史密斯的近身搏斗,只有4分钟的戏份,却需要后期团队花九个月的时间调整和完善,难度之大、成本之高可想而知。据说光是这个CGI人物的制作费用就是威尔·史密斯片酬的2倍。


在成本方面,此前有媒体报道,目前市场上AI换脸的价格大概是1.5万元/分钟,手动换脸的价格在十几万元/分钟,即便是简单的内容,最低市场报价也要在5-6万元/分钟。


唐家渝从不同角度拆分AI换脸的成本,一方面是算力的成本,需要有高性能、一定数量的GPU,硬件的价格比较高;另一方面是拍摄、收集各种照片以及建模的成本;此外,事后处理一些遮挡情况也需要一定的人工成本。


手动P图换脸的成本自然更高。“如果我现在是影视制作方,演员出了问题,我肯定不会找手动换脸。1秒的画面一般有23-30帧,每一帧都要手动换,成本太高了。”唐家渝表示。


也就是说,目前国内影视行业一旦遇到需要替换演员的突发情况,AI换脸相比手动换脸,是成本可控的挽救方式。


总体来说,影视行业是目前AI换脸技术更容易落地的场景,但眼下需求有限。随着机器学习算法的快速学习与进化,AI换脸相关从业者要做的是,在烧钱的电影特效和人人取之可用的入门级App之间,寻找性价比和安全性最高的商用领地。


注:应受访者要求,文中陈倾为化名。

来源:燃财经

作者:金玙璠、苏琦


分享到:


相關文章: