NVIDIA AR SDK現已公測,將AI引入實時直播


熱門OBS插件StreamFX首次亮相


NVIDIA AR SDK現已公測,將AI引入實時直播


NVIDIA AR SDK為實時直播、視頻會議和遊戲直播提供了創造性的全新選擇。通過SDK,開發人員可以檢測到人臉或面部地標,並可通過普通網絡攝像頭獲取3D人臉網格。


NVIDIA AR SDK現已開放公測,並支持多項用例:


  • 追蹤攝像頭中的人臉,並識別圖像中一個或多個對象,
  • 將資源覆蓋到人物上,從而給人物換裝或增加特效,
  • 通過面部和頭部運動控制動畫角色或遊戲角色。


NVIDIA AR SDK藉助NVIDIA RTX GPU上的Tensor Core,可通過AI網絡實現快速且高質量的追蹤性能。該網絡可以提供準確的人臉追蹤;對面部輪廓、嘴唇、眼睛、眉毛和鼻子的三自由度面部地標追蹤;以及六自由度的先進人臉網格(人臉和頭部姿勢的3D重構)。


第34秒開始詳細展現了NVIDIA AR SDK的特徵


StreamFX是一個應用於OBS直播軟件的熱門插件,其最新發布的版本可藉助SDK來創建智能攝像頭。該攝像頭會自動對用戶進行裁剪和放大,並在用戶移動時將其置於畫面中央。


StreamFX開發者Michael Fabian ‘Xaymar’ Dirks表示:“StreamFX中的全新人臉追蹤(Face Tracking)濾鏡需要複雜的數學和機器學習,這原本需要在一系列的機器上運行數月甚至數年。如今,藉助NVIDIA AR SDK即可在短時間內完成操作,並且可在任何NVIDIA RTX硬件上運行。RTX硬件因其內置的NVENC H.264編碼器也變得愈發常用。這就大大縮短必要的開發時間,從數年縮短到兩週,而且也沒有額外的成本。”



分享到:


相關文章: