開源深度學習推理引擎Neuropod 統一 AI 框架
Neuropod 是一個提供了統一界面的庫，用於從 C ++ 和 Python 的多個框架中運行深度學習模型。它使研究人員可以輕鬆地在所選擇的框架內構建模型，同時還簡化了這些模型的生產。 支持的框架包括：TensorFlow、PyTorch、Keras 和 TorchScript，同時也可以輕鬆地添加新的框架。
其工作原理是：將現有模型包裝在 Neuropod 包中，該軟件包包含原始模型以及元數據、測試數據和自定義操作（如果有）。
Neuropod 從問題定義的概念開始——對模型要解決的“問題”的正式描述。在這種情況下，問題可能是圖像的語義分割或文本的語言翻譯。通過正式定義問題，可以將其視為接口並抽象出具體的實現。每個 Neuropod 模型都實現問題定義，結果，解決相同問題的任何模型都可以互換，即使它們使用不同的框架也是如此。
使用 Neuropod，任何模型都可以從任何受支持的語言下執行。例如，如果用戶想從 C ++ 運行 PyTorch 模型，Neuropod 將在後臺啟動一個 Python 解釋器，並與之通信以運行模型。這是必需的，因為 PyTorch 模型需要運行 Python 解釋器。此功能使開發者能夠快速測試 PyTorch 模型，然後再嘗試將其轉換為 TorchScript ，該模型可以從 C ++ 本地運行。
當前支持從 Python 和 C ++ 運行模型。
GitHub 地址： https://github.com/uber/neuropod
分享到:
關鍵字: 運行 TorchScript Python
