Facebook開源新NLP框架:簡化部署流程,大規模應用也OK

銅靈 編譯整理

量子位 出品 | 公眾號 QbitAI

今天,Facebook開源了一個基於PyTorch的深度學習庫PyText,想容易地構建和部署NLP系統。

Facebook在博客中介紹說,新框架具有多個特性,不僅能簡化流程更快部署,還能調取眾多預構建模型和程序方便大規模部署


Facebook開源新NLP框架:簡化部署流程,大規模應用也OK


PyText開源的消息經Yann LeCun轉推後,短時間引發了高額的點贊轉發,一些網友稱這是個“鵝妹子嚶”的項目。在Github今日熱榜上,PyText排名第四。


Facebook開源新NLP框架:簡化部署流程,大規模應用也OK


核心功能

構建PyText的初衷,是想解決當前NLP任務中時間緊且需要大規模部署之間的矛盾。研究人員的大致思路分兩步。

一是通過為模型組件提供簡單可擴展的接口,二是導出模型用於推理。目前,PyText的核心功能有以下幾點:

  • 內含各種為NLP/NLU任務準備的模型


(如文本分類、序列標註、連接意圖-槽位模型和上下文意圖-槽位模型等。)

  • 支持基於PyTorch 1.0中新的C10d後端構建的分佈式訓練
  • 可以輕鬆創建新模型和任務的可擴展組件
  • 支持整體訓練

為了適應研究和生產的需要,Facebook還強調了框架的穩健性和低延遲性,目前,PyText已經應用於Facebook網站上,你和朋友視頻/音頻中的字幕生成功能就是它的功勞。每天可執行超過10億次預測。


Facebook開源新NLP框架:簡化部署流程,大規模應用也OK


可以看出,模塊化也是PyText的一大亮點,不僅支持從頭創建新的pipeline,還可以修改現有的工作流程。除了分佈式訓練外,還支持一次訓練多個模型。

傳送門

官方博客地址:

https://code.fb.com/ai-research/pytext-open-source-nlp-framework/

GitHub代碼:

https://github.com/facebookresearch/pytext

在論文PyText: A seamless path from NLP research to production中,研究人員詳細介紹了PyText的原理:


Facebook開源新NLP框架:簡化部署流程,大規模應用也OK


https://research.fb.com/wp-content/uploads/2018/12/PyText-A-seamless-path-from-NLP-research-to-production-using-PyTorch3.pdf?

不花一分錢,你也能擁有Facebook同款框架了~

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態


分享到:


相關文章: