華爲nova黑技術之AI短視頻,天空里的魔幻

視頻1:抖音某魔法天空小視頻

可是現在有了華為nova 3手機的“AI短視頻”功能,利用 AI(人工智能)技術實現了一種AR(Augmented Reality增強現實技術,簡稱AR)場景,讓用戶可以直接在手機上通過簡單操作就能夠製作出這樣類似創意的短視頻,讓美好變得觸手可及。用戶只需要打開華為nova 3手機的相機功能,在一級目錄裡就能找到“AI短視頻”菜單(見附圖1),進入以後可以選擇煙花、動物雲彩、流星等效果。

華為nova黑技術之AI短視頻,天空裡的魔幻

附圖1:nova 3手機AI短視頻UI界面示意

把鏡頭對準自己和天空,軟件就會自動的實時分割天空並把該區域替換成煙花等效果,猶如“魔法天空”一般(見附圖2)。只需點擊錄製就可以創作一段具有魔幻色彩的短視頻啦。

華為nova黑技術之AI短視頻,天空裡的魔幻

附圖2:“魔法天空”AI小視頻效果示意

旗艦機芯片加持,提供強大AI能力

那到底華為nova 3手機是怎麼讓以往需要複雜編輯才能實現的效果變得這麼輕而易舉的呢?其實最主要還是源於華為nova 3手機在AI(人工智能)方面的強大能力。華為nova 3採用的是麒麟Kirin 970芯片,麒麟970首次集成了NPU(Neural Network Processing Unit)處理單元,創新設計了HiAI移動計算架構,相較於傳統的CPU,新的架構在AI能力上能提升25倍的性能。例如在圖像識別應用上,速度最高可達到2005張/分鐘,比傳統方式識別速度快20倍。NPU為實時場景識別提供有力的技術支撐。有了強大的芯片能力,在以下幾個方面實現技術上的突破,繼而實現了這麼炫酷的“魔法天空”的功能。

華為nova黑技術之AI短視頻,天空裡的魔幻

三大突破,打造極致視頻體驗

突破一:識別準!

現在大家對靜態圖片進行場景分割的功能應該非常熟悉了。在“魔法天空”功能裡對視頻的背景進行摳圖其實可以理解為對每一幀視頻畫面進行摳圖。一旦識別不準確,把大樓認成了天空或者把天空缺了一塊,整個視頻特效就會大打折扣。因為華為nova 3手機擁有了強大的NPU單元,加上基於對上億張圖片進行機器學習訓練出來的“AI大腦”,華為nova 3 手機可以自動識別前置相機8類標籤200+種場景,後置相機22類標籤500+種場景。所以不管是建築場景、山川場景還是更為複雜的樹木場景,手機都可以非常智能準確的識別出天空區域,交界處邊緣識別非常準確(見附圖3)。

華為nova黑技術之AI短視頻,天空裡的魔幻

附圖3:華為nova 3從場景識別到圖像語義分割再到分區域針對性調優原理圖

突破二:識別快!

大家都知道一段視頻要做到人眼能觀察到的流暢,要達到30幀/秒左右,也就意味手機需要在至少33.1毫秒(1秒÷30幀=33.1毫秒/幀)內完成每一幀天空區域的識別、分割再到效果替換的過程,否則就做不到流暢的實時預覽和錄製的效果。華為nova 3手機的NPU單元擁有強大的圖片識別性能,在AI圖片識別實驗中識別速度最高可達到驚人的2005張/分鐘。在“魔法天空”功能中,在NPU的加持下華為nova 3最短可以實現單幀天空識別分割速度小於20毫秒/幀!這個識別速度是沒有NPU的手機幾乎不可能達到的。在毫秒之間,NPU把每一幀畫面的天空切割出來,然後又在毫秒之間把切割出來的天空替換成可愛的卡通、雨景、煙火等,在人類感知不到的瞬間就完成了魔法天空的變幻。正是因為有了NPU的加持,華為nova 3才實現了在手機上就能完成以往需要在個人電腦上才能完成的複雜工作。

突破三:加持AR(增強現實)技術

大家在使用“AI短視頻”功能的時候,會發現並非像此文開頭的抖音視頻一樣,只有一個靜止的鏡頭。實際上“魔法天空”功能裡的天空的特效是會隨著鏡頭的移動旋轉而同步轉動的。例如天空中出現的“love”煙花特效就像一個星座一樣,會一直固定出現在天空的東北角,當你轉動手機將鏡頭指向天空的其它方向時,“love”煙花會停在那個固定的天際的經度和緯度,看起來特別真實而又可愛。這樣動態的鏡頭比簡單的固定鏡頭摳圖難度要大的多。這又是怎麼實現的呢?其實這裡用到的就是AR(增強現實技術Augmented Reality,簡稱 AR)技術。隨著智能手機的高速發展,例如地圖和GPS技術的提升,陀螺儀和重力感應器以及攝像頭等性能的提升,為基於AR技術的應用找到了現實的依託。AR技術的原理非常複雜,簡單來說,首先攝像頭負責採集真實場景的視頻,然後結合GPS和陀螺儀等信息分析並構建一個虛擬的3D場景,接下來根據虛擬場景和真實場景的相對位置,實現座標系的對齊並進行虛擬場景的融合計算,最後融合後的信息會實時地顯示在手機的屏幕上展現在人的視野中。這樣就實現了一種視頻裡既有真實的樓宇、山川,又有煙花、卡通等虛擬的動畫的亦真亦幻的AR場景。

當然“魔法天空”背後的技術還有很多,在這裡就不一一贅述了。華為手機nova 3的“AI短視頻”功能已經不僅僅是加一個表情的功力,而是達到了可以直接實現視頻摳圖的水準。這個功能極大的降低了年輕人小視頻創作的門檻,不再需要高級的電腦和複雜的編輯軟件,在手機上就可以輕輕鬆鬆編輯有創意的視頻。一個看似小小的“魔法天空”功能其實蘊含著這麼多強大的技術,背後是巨大的研發資金投入和無數工程師們付出的辛勞和汗水。華為nova手機的希望通過技術的力量帶給更廣大年輕消費者緊跟潮流、簡單易用


分享到:


相關文章: