熱門OBS插件StreamFX首次亮相
NVIDIA AR SDK為實時直播、視頻會議和遊戲直播提供了創造性的全新選擇。通過SDK,開發人員可以檢測到人臉或面部地標,並可通過普通網絡攝像頭獲取3D人臉網格。
NVIDIA AR SDK現已開放公測,並支持多項用例:
- 追蹤攝像頭中的人臉,並識別圖像中一個或多個對象,
- 將資源覆蓋到人物上,從而給人物換裝或增加特效,
- 通過面部和頭部運動控制動畫角色或遊戲角色。
NVIDIA AR SDK藉助NVIDIA RTX GPU上的Tensor Core,可通過AI網絡實現快速且高質量的追蹤性能。該網絡可以提供準確的人臉追蹤;對面部輪廓、嘴唇、眼睛、眉毛和鼻子的三自由度面部地標追蹤;以及六自由度的先進人臉網格(人臉和頭部姿勢的3D重構)。
第34秒開始詳細展現了NVIDIA AR SDK的特徵
StreamFX是一個應用於OBS直播軟件的熱門插件,其最新發布的版本可藉助SDK來創建智能攝像頭。該攝像頭會自動對用戶進行裁剪和放大,並在用戶移動時將其置於畫面中央。
StreamFX開發者Michael Fabian ‘Xaymar’ Dirks表示:“StreamFX中的全新人臉追蹤(Face Tracking)濾鏡需要複雜的數學和機器學習,這原本需要在一系列的機器上運行數月甚至數年。如今,藉助NVIDIA AR SDK即可在短時間內完成操作,並且可在任何NVIDIA RTX硬件上運行。RTX硬件因其內置的NVENC H.264編碼器也變得愈發常用。這就大大縮短必要的開發時間,從數年縮短到兩週,而且也沒有額外的成本。”
閱讀更多 英偉達NVIDIA中國 的文章