cnBeta
在近日召開的 5G 移動世界大會上，英偉達（Nvidia）聯合創始人兼首席執行官（CEO）黃仁勳宣佈了 Nvidia Jarvis 。
作為一種多模式人工智能（AI）開源軟件的開發套件（SDK），它能夠將語音、視覺和其它傳感器，整合到一個 AI 系統中。
換言之，藉助 Nvidia Jarvis，開發者能夠構建和部署融合視覺、語音和其它傳感器的 AI 應用程序。
（來自：Nvidia，via Neowin）
據悉，Nvidia Jarvis 提供完整的工作流，來構建、訓練和部署基於 GPU 加速的 AI 系統。這套系統用於手勢、凝視等視覺提示，以及情境語音。
如前所述，Jarvis 是該公司試圖同時處理來自不同傳感器的多個輸入的嘗試。這種方法的背後，旨在幫助構建上下文，在基於對話的 AI 應用程序中，準確地預測和生成響應。
為此，英偉達在其博客文章中舉例說明了可能會有所幫助的一些案例。比如將語音輸入和唇語識別相融合，凝視講述人是否正在與現場的 AI 代理、或其他人員進行交流。
此外，Nvidia Jarvis 包含了可根據用戶需求而進行調整的模塊。對於視覺類應用，Jarvis 具有用於人員檢測和跟蹤、手勢、唇部活動、注視、以及身體姿勢檢測的模塊。
對於語音類應用，Jarvis 可以分析情感、對話建模、以及意圖和實體分類。為將這些功能集成到系統中，Nvidia 已採用融合算法來同步這些模型的工作。
Nvidia 聲稱，基於 Jarvis 的應用程序，在與 Nvidia 神經模塊（NeMo）結合時效果最佳。NeMo 是一個與框架無關的工具包，用於創建圍繞神經模塊構建的 A I應用程序。
基於雲的應用程序，亦可使用 EGX 平臺，部署和使用基於 Jarvis 開發的服務。Jarvis 在 Nvidia EGX 堆棧上運行，該公司自詡為全球首個邊緣計算超算平臺，且與 Kubernetes 基礎架構兼容。
最後，Jarvis 現已開放早期訪問，感興趣的朋友可註冊並登錄 Nvidia 賬戶，以申請早期訪問。
