可否藉助AI對普通視頻進行慢動作平滑補幀?

cnBeta

據外媒報道,在人工智能技術的加持下,英偉達開發出了一種將普通視頻“慢動作化”的新方法。

據悉,Nvidia 攜手馬薩諸塞州大學和加利福尼亞大學的研究人員,打造了這種可以將任何視頻轉換為慢動作、但又不犧牲播放平滑度的解決方案。

這項技術將在本週舉辦的計算機視覺和模式年度參考會議上發佈,其依賴於兩個卷積神經網絡(CNN),讓它們協同工作,以確定物體在框架和幀間的移動位置。

據悉,研究人員們藉助 Nvidia Tesla V100 GPU 和 cuDNN 加速的 PyTorch 深度學習框架,用 11000 段 240 fps 視頻對這套系統進行了訓練,最終讓它可以填補慢動作視頻中缺失的幀。

【視頻介紹】

《Transforming Standard Video Into Slow Motion with AI》

【視頻地址】

https://v.youku.com/v_show/id_XMzY3MzA5MDIxMg==.html

如上方視頻所示,即使是原始 30fps 的普通視頻,也可以在慢放時實現更加平滑的播放。有趣的是,英偉達甚至攜手 YouTube 知名頻道主“Slow Mo Guys”來測試這項技術。

實踐表明,這項技術適用於對各種規格的視頻進行慢速回放時的優化。當然,想要進一步進行 AI 慢放的話,將需要更長的時間去補幀。

最後,儘管這項技術很有前景,但英偉達覺得它尚未做好向消費級市場推出的準備。在此之前,該公司仍需大量的優化,才能讓系統做到實時運行。


cnBeta

生活中有太多精彩的片刻,你會想要慢動作重播。比如運動過程中的亮眼時刻,比如朋友們發糗的瞬間,比如等待花開的那刻。雖然可以通過手機錄製慢動作視頻,但是慢動作需要的存儲空間太大了。

英偉達攜手馬薩諸塞州大學和加利福尼亞大學的研究人員研發出一種黑科技,通過藉助AI人工智能技術,只要一段普通的視頻就能生成一個高質量的慢動作視頻,從常見的30FPS變成240/480fps的慢動作視頻。說明以後慢放的鏡頭不再需要專門高幀率攝像頭機,只要通過AI運算就能獲得讓人覺得流暢慢動作視頻,這對於做視頻的人就是一大福利。

效果如下面動圖所示看:

我們看的視頻其實是在一秒內播放多幀畫面,讓我們感覺到它是在不停變化中,而一秒鐘播放的幀數越多,我們感覺就視頻越流暢。視頻在加入人工智能技術之後,在兩幀畫面之間,自動生成補充上“缺失”的畫面幀,所以能夠實現慢動作重播。

研究人員通過使用NVIDIA Tesla V100顯卡以及cuDNN深度神經網絡每天對超過

1.1萬個240fps視頻進行訓練,訓練完成的模型可以將普通30fps視頻插幀成240fps的視頻。

相信這個黑科技會深得大家喜歡,就是不知道NVIDIA何時公開這技術。


分享到:


相關文章: