華爲AR Engine細節發布:明年將會有2億台手機支持華爲AR Engine

6月22日至23日,以“開放&創新”為主題的華為終端·全球合作伙伴及開發者大會在北京舉行。在本次大會期間,

華為正式發佈全場景生態戰略,宣佈全面推行耀星計劃,設立DigiX創新工作室,通過芯端雲開放平臺,賦能合作伙伴,真正為用戶帶來更美好的數字生活。VR網(微信公眾號:VR平臺)編輯受邀參加了本次大會。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

2018華為終端·全球合作伙伴及開發者大會

在6月23日的VR/AR分論壇期間,華為AR/VR產品線總裁李騰躍正式發佈了VR SDK 2.0和AR Engine 1.0,並宣佈將會面向所有開發者開放。之後,華為AR產品規劃經理符謀政對華為AR Engine的主要特性及對開發者的支持進行了介紹。

為什麼要選擇華為AR Engine?

關注AR行業的開發者們應當都有了解,Facebook在2017年4月的F8開發者大會上發佈了Facebook AR Studio,並展示了一些支持平面和物體識別的AR應用Demo,不過Facebook到現在為止,真正提供給開發者的只有AR Studio,可以做臉部檢測的動態特效。而在之後的6月,蘋果發佈了ARKit,緊接著8月份Google發佈了ARCore,大廠紛紛入局手機AR,2017年可以說是當之無愧的手機AR元年。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

2017,手機AR元年

可能會有開發者心存疑惑,既然iOS和安卓平臺上都已經有了AR開發工具,為什麼要選擇華為AR Engine呢?

據介紹,首先,華為AR Engine是東半球第一個可商業化“大規模部署”的AR SDK。在今年4月的華為P20中國區發佈會上,餘承東已經公佈了對華為AR Engine和ARCore的支持,並且在發佈會上展示了一些AR應用。在當時,雖然國內也有一些廠商發佈了對AR SDK的支持,但其他廠商在發佈這些平臺之後並沒有明顯的開發者的支持,而在這方面,華為做了非常多的工作來支持開發者。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

支持華為AR Engine的手機將會超過2億臺

大規模商用的一個標誌就是,華為AR Engine支持的設備數量是非常多的。目前,華為AR Engine已經在P20系列手機上運行,到今年10月升級Android P之後,會全系列支持採用麒麟970及以上芯片的設備,到12月,還會增加對麒麟960和6系列的芯片的支持。而在此之後華為發佈的新機型將會全面支持華為AR Engine。預計到2019年6月,支持華為AR Engine的手機數量將超過2億臺,這是一個非常可觀的數字。而同時支持華為AR Engine和谷歌ARCore也將成為華為手機的顯著優勢。

其次,華為AR Engine經過了一些頂級的應用開發商的嚴格考驗,比如華為和騰訊合作對AR遊戲《一起來捉妖》進行調試,還有網易的AR遊戲《悠夢》和京東的AR傢俱展示應用,都取得了不錯的反響。

需要注意的是,華為AR Engine只支持安卓平臺,不支持iOS、Windows、Linux。華為認為,包括SLAM在內的很多AR特性都是和硬件強相關的,對攝像頭,IMU甚至處理器的參數都有一定的要求,如果不經過硬件的調校,算法是沒辦法很好地運作的。所以華為AR Engine目前很專注地只支持安卓,只支持華為手機,這也是華為作為硬件廠商,軟硬件結合的一個優勢。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

完善的開發者支持與接口標準化工作

為了支持開發者們使用華為AR Engine,華為提供了完善的開發者的支持。比如在今年5月,華為AR Engine的Beta版已經在華為開發者聯盟網站上線,開發者在這裡可以下載SDK和技術文檔,可以很方便地開發AR應用。

同時,華為也在與中國信息通信研究院牽頭制定ARVR的API接口標準。希望聯合國內的廠商,共同制定一個標準接口,減少開發者們的工作量。

華為AR Engine的主要技術特性

針對華為AR Engine的特點,除了目前業界標準的AR特性之外,華為AR Engine還加入了人臉跟蹤、人臉Mesh、人臉光照、三維重建、手勢姿態等等,後續還會加入尺度測量和光照檢測等特性。結合華為手機的GPU和NPU,可以讓這種處理能力更加快速和強大。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

華為AR Engine特性展望

預計到今年四季度,華為AR Engine將會實現物體/場景重建、房間級多人SLAM、2D/3D圖像跟蹤、垂直面檢測、遮擋計算等特性,之後的版本還會探索人體重建、大場景重建、Cloud SLAM,甚至是曲面檢測等等。

接下來華為詳細介紹了華為AR Engine 1.0目前已經具備的一些AR特性。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

華為AR Engine的SLAM特性介紹

首先是SLAM,這是一個空間定位的特性,它會檢測你在空間中的位置,給你一個世界座標系,結合這個座標系之後就可以定位,把真實物體和虛擬物體結合起來,同時還會做平面識別。與友商的AR SDK相比,華為AR Engine配合集合芯片和模組優化,功耗更低,能夠實現在弱紋理下的快速初始化,並且具備更高的穩定性。同時,華為AR Engine的SLAM特性在今後會全系列支持麒麟9系列和6系列的芯片,到明年6月份,支持的設備會達到2億臺。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

華為AR Engine的平面檢測特性介紹

其次是平面檢測,平面檢測其實是基於SLAM,根據場景點雲信息,識別類似桌面、地面和牆面等平面,並獲取平面三維信息,之後疊加一些AR應用。華為AR Engine的平面識別速度、平面精度、平面貼合度相比友商的AR SDK均佔據優勢,並且平面和實際的環境會更加貼合,而不僅僅是簡單的大塊的平面。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

華為AR Engine的光照檢測特性介紹

接下來是光照檢測,這是指識別場景中的光照情況,同時依據此光照情況改變虛擬物體光強變化。光照檢測在AR體驗中是非常重要的,因為虛擬物體擺放在真實環境中,要和真實的光照情況結合,不然會顯得虛擬物體非常突兀,在使用華為AR Engine開發的AR應用中,照在虛擬物體的光照會根據實際的光照有不同強度的變化,據介紹,華為AR Engine的光強識別速度很快,會在10幀之內識別當前光強度的數值,並作出調整。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

華為AR Engine的手部識別特性介紹

第四個重要特性是華為AR Engine特有的手部識別。華為AR Engine目前可以識別和跟蹤十餘個類別的特定手勢,並實時輸出識別結果和手部位置(>30fps),還可以輸出手部關節點和骨骼,支持更精細的識別和操作。結合這一特性,AR應用可以實現非常有趣的手勢特效,這種特性是友商的SDK現在不提供的,或者只提供類別識別,功能單一。此外,華為AR Engine對手勢進行識別時,正反面的識別是一致的,左右手不區分,且對膚色不敏感。與之相比,有些算法對膚色比較敏感,容易出現錯誤。該特性目前已經集成在了華為AR Engine 1.0中。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

華為AR Engine的身體姿勢識別特性介紹

另外華為AR Engine還做到了身體姿勢識別,可以識別輸入單人或雙人的2D身體關節點和骨骼,支持多種姿態識別,由於採用了NPU加速,可以實現30pfs的實時輸出。同時還可以做到識別輸入單人的3D身體關節點和骨骼,支持轉身,同樣可以實現30fps的實時輸出。據介紹,這一特性需要使用華為手機的NPU,沒有NPU的助力,幀率可能會非常低,跑不動識別算法。與之相比,友商的算法只提供2D骨骼點,應用場景很狹窄,且基於CPU算法,幀率一般小於10幀,無法做到近乎實時的輸出。

華為AR Engine細節發佈:明年將會有2億臺手機支持華為AR Engine

華為AR Engine的多機地圖共享特性介紹

最後,還介紹了華為AR Engine在多機地圖共享方面的研究,並且這一特性即將在後續版本的AR Engine中提供給開發者。多機地圖共享是指將多臺AR設備同步在統一的世界座標系下,共享統一的虛擬信息。華為將其分為三個階段,第一個階段是用Marker/圖像/物體來進行跟蹤,第二個階段是做一個基礎的錨點,多人可以共享一個地圖,第三個階段可以做到全局地圖,並且可以長期保存,可以在所有的地方啟動全局地圖。華為預計將在今年年底實現前兩個階段的地圖共享。並且這一特性除了支持安卓平臺,還可能會支持iOS平臺,但由於iOS不會開放其底層的算法,華為可能會用一些比較簡單的算法來實現地圖共享。目前的華為AR Engine 1.0版本還沒有這一特性,後續會陸續實現。

2018華為終端·全球合作伙伴及開發者大會已經結束,此次大會期間,華為AR/VR產品線高管分享了華為在AR/VR領域的佈局及對開發者的支持,詳情請點擊查看:

華為AR/VR產品線總裁李騰躍:發佈VR SDK和AR引擎 5G就是為AR/VR而生!

華為AR/VR產品線副總裁趙學知:為用戶提供極致VR體驗 為生態合作伙伴提供優質服務

想了解更多國內廠商在AR/VR領域的最新發展動態及研究進展,請持續關注VR網微信公眾號:VR平臺。


分享到:


相關文章: