iPhone X能當HoloLens用?第三方開發APP實現高精度全身動捕

自iPhone X面世以來,許多第三方應用開發商和內容創作者紛紛嘗試為其深感攝像頭和麵部識別軟件帶來更多的可能性,開發出全新體驗,比如洛杉磯VR開發公司Kite and Lightning就利用iPhone X新功能開發了一套面部捕捉系統,並將其融入該公司旗下的遊戲中。

iPhone X能當HoloLens用?第三方開發APP實現高精度全身動捕

實時捕捉

Kite and Lightning聯合創始人Cory Strassburger表示:如果我們能夠做出足夠多的表情並進行實時捕捉,就能以最低的預算讓遊戲中的人物更具真實感,從而為玩家帶來更為沉浸式的體驗。

通過將iPhone X和Xsens慣性動捕技術相結合,遊戲中將能夠實現全身動捕,玩家的一舉一動,甚至是面部表情都可實時映射到遊戲角色身上,並能通過IKINEMA LiveAction進行直播。

iPhone X能當HoloLens用?第三方開發APP實現高精度全身動捕

Cory 寫道:“一開始我以為結果會一塌糊塗,因為我的頭一直晃動,iPhone X失去了平衡勢必會造成很多頭部的幻影。然而,這並沒有影響捕捉過程,也就是說,無論在捕捉時身體的動作幅度有多大,最後拍下的表情數據都是清晰的,就好像我沒有亂動一樣。事實上,通過Xsens動作捕捉設備恰好完美彌補了光用手機捕捉動作的準確度。”

這種技術依賴於DIY動捕頭顯,以一臺iPhone X對準用戶的面部,通過Xsens MVN捕捉系統實時捕捉,並在Unreal中重新校準動作。另外,Cory 將在今年的Siggraph大會演示這項技術。

面部識別

Realallusion於6月發佈的免費應用——Live Face,可以直接將面部追蹤數據實時反饋給Mac或PC端,將iPhone X作為熱點,連接到計算機並通過Wi-Fi追蹤臉上的數據點。

需要注意的是,終端數據是由Reallusion的CrazyTalk Animator 3套件進行接收和處理。目前Live Face僅兼容CrazyTalk Animator 3,這意味著用戶需要首先在App Store上花費89.99美元來購買CrazyTalk Animator 3套件。

iPhone X能當HoloLens用?第三方開發APP實現高精度全身動捕

此外,Maxon同樣在6月發行了一款免費應用——CV-AR,可與iPhone X的深度攝像頭配合使用,進行面部動作捕捉;,並獲取數據並使其上傳至插件Cinema 4D中,以使數據在C4D內可用。

CV-VR 允許CG設計師為YouTube或Facebook生成預渲染或交互式VR視頻內容,Cineversity(針對Cinema 4D用戶的在線教育和資源網站)還提供了幾個教程系列,以幫助藝術家學習如何創建VR視頻。

這款應用程序旨在無縫和輕鬆捕捉並傳輸面部表情。用戶只需掃描二維碼即可進行傳輸,不需開熱點或使用USB。

應用領域

目前,Next Game正在開發《行屍走肉:我們的世界》的AR版本,並在研發一個利用iPhone X的相機捕捉使用者臉部表情,再映射在遊戲動畫角色身上的工具。

首先,用iPhone X把幾個臉部表情錄製下來,然後把資料傳輸到電腦中,讓程式運算幾秒鐘之後,《行屍走肉》中經典角色Daryl的臉部表情就能映射成剛剛錄下來的版本。

【資訊編譯自:digitalartsonline】

87870編譯文章,轉載須註明來源及鏈接,否則將追究其法律責任!


分享到:


相關文章: