开源深度学习推理引擎Neuropod 统一 AI 框架

开源深度学习推理引擎Neuropod 统一 AI 框架

Neuropod 是一个提供了统一界面的库，用于从 C ++ 和 Python 的多个框架中运行深度学习模型。它使研究人员可以轻松地在所选择的框架内构建模型，同时还简化了这些模型的生产。 支持的框架包括：TensorFlow、PyTorch、Keras 和 TorchScript，同时也可以轻松地添加新的框架。

其工作原理是：将现有模型包装在 Neuropod 包中，该软件包包含原始模型以及元数据、测试数据和自定义操作（如果有）。

Neuropod 从问题定义的概念开始——对模型要解决的“问题”的正式描述。在这种情况下，问题可能是图像的语义分割或文本的语言翻译。通过正式定义问题，可以将其视为接口并抽象出具体的实现。每个 Neuropod 模型都实现问题定义，结果，解决相同问题的任何模型都可以互换，即使它们使用不同的框架也是如此。

使用 Neuropod，任何模型都可以从任何受支持的语言下执行。例如，如果用户想从 C ++ 运行 PyTorch 模型，Neuropod 将在后台启动一个 Python 解释器，并与之通信以运行模型。这是必需的，因为 PyTorch 模型需要运行 Python 解释器。此功能使开发者能够快速测试 PyTorch 模型，然后再尝试将其转换为 TorchScript ，该模型可以从 C ++ 本地运行。

当前支持从 Python 和 C ++ 运行模型。

GitHub 地址： https://github.com/uber/neuropod