可否借助AI对普通视频进行慢动作平滑补帧?

cnBeta

据外媒报道,在人工智能技术的加持下,英伟达开发出了一种将普通视频“慢动作化”的新方法。

据悉,Nvidia 携手马萨诸塞州大学和加利福尼亚大学的研究人员,打造了这种可以将任何视频转换为慢动作、但又不牺牲播放平滑度的解决方案。

这项技术将在本周举办的计算机视觉和模式年度参考会议上发布,其依赖于两个卷积神经网络(CNN),让它们协同工作,以确定物体在框架和帧间的移动位置。

据悉,研究人员们借助 Nvidia Tesla V100 GPU 和 cuDNN 加速的 PyTorch 深度学习框架,用 11000 段 240 fps 视频对这套系统进行了训练,最终让它可以填补慢动作视频中缺失的帧。

【视频介绍】

《Transforming Standard Video Into Slow Motion with AI》

【视频地址】

https://v.youku.com/v_show/id_XMzY3MzA5MDIxMg==.html

如上方视频所示,即使是原始 30fps 的普通视频,也可以在慢放时实现更加平滑的播放。有趣的是,英伟达甚至携手 YouTube 知名频道主“Slow Mo Guys”来测试这项技术。

实践表明,这项技术适用于对各种规格的视频进行慢速回放时的优化。当然,想要进一步进行 AI 慢放的话,将需要更长的时间去补帧。

最后,尽管这项技术很有前景,但英伟达觉得它尚未做好向消费级市场推出的准备。在此之前,该公司仍需大量的优化,才能让系统做到实时运行。


cnBeta

生活中有太多精彩的片刻,你会想要慢动作重播。比如运动过程中的亮眼时刻,比如朋友们发糗的瞬间,比如等待花开的那刻。虽然可以通过手机录制慢动作视频,但是慢动作需要的存储空间太大了。

英伟达携手马萨诸塞州大学和加利福尼亚大学的研究人员研发出一种黑科技,通过借助AI人工智能技术,只要一段普通的视频就能生成一个高质量的慢动作视频,从常见的30FPS变成240/480fps的慢动作视频。说明以后慢放的镜头不再需要专门高帧率摄像头机,只要通过AI运算就能获得让人觉得流畅慢动作视频,这对于做视频的人就是一大福利。

效果如下面动图所示看:

我们看的视频其实是在一秒内播放多帧画面,让我们感觉到它是在不停变化中,而一秒钟播放的帧数越多,我们感觉就视频越流畅。视频在加入人工智能技术之后,在两帧画面之间,自动生成补充上“缺失”的画面帧,所以能够实现慢动作重播。

研究人员通过使用NVIDIA Tesla V100显卡以及cuDNN深度神经网络每天对超过

1.1万个240fps视频进行训练,训练完成的模型可以将普通30fps视频插帧成240fps的视频。

相信这个黑科技会深得大家喜欢,就是不知道NVIDIA何时公开这技术。


分享到:


相關文章: