出品 | AI科技大本營（ID:rgznai100）
4月24日，騰訊正式宣佈開源Transformer推理加速工具TurboTransformers。該工具面向自然語言處理領域中Transformers相關模型豐富的線上預測場景，在微信、騰訊雲、QQ看點等產品的線上服務中已經廣泛應用，這也是騰訊通過Github對外開源的第100個項目。
據瞭解，TurboTransformers的誕生源於騰訊內部對開源協同的推動。2019年初，騰訊技術委員會成立，下設開源協同、自研上雲兩個項目組和對外開源管理辦公室，以此來促進內部代碼的開放共享和協同共建。
TurboTransformers來自於深度學習自然語言處理基礎平臺TencentNLP Oteam，作為基礎性技術版塊，率先進行了開源協同的實踐，旨在搭建統一的深度學習 NLP （Natural Language Processing，自然語言處理）基礎平臺、提升研發效能。在內部對技術反覆打磨的基礎上，該項目進一步對外開源。
在自然語言處理領域中，以BERT為代表的Transformers相關神經網絡模型是近年來最重要的模型創新。可以為閱讀理解、文章摘要、語義分類、同義改寫等NLP任務提供顯著的效果提升。但提高模型精度的同時，Transformes相關模型也帶來了更多的計算量。由於深度學習的訓練和推理任務存在差異，訓練框架直接應用於線上推理並不能得到極致的性能。眾多模型算法工程師都遇到了訓練的模型效果很好，但因為響應延遲不滿足要求，導致模型無法上線的問題。
TurboTransformers是一款小而美的Transformer加速工具，就像它的名字所寓意的，Turbo（渦輪）可以增加發動機氧氣含量，從而帶來更大動力，使用TurboTransformers也可以讓你的推理引擎更加強勁。具體來說，它具有高速、實用、簡單三個特點：
1. 優異的CPU/GPU性能表現。面向Intel多核CPU和NVIDIA GPU硬件平臺，通過核心融合和並行算法優化，TurboTransformers充發揮硬件的各層級並行計算的能力。在多種CPU和GPU硬件上獲得了超過PyTorch/TensorFlow和目前主流優化引擎（如
onnxruntime-mkldnn/onnxruntime-gpu, torch JIT, NVIDIA faster transformers）的性能表現。
2. 為NLP推理任務特點量身定製。TurboTransformers可以支持變長輸入序列處理，無需序列補零、截斷或者分桶帶來的無用計算，也無需任何針對計算圖在推理前進行預調優的過程。
3. 簡單的使用方式。TurboTransformers支持python和C++接口進行調用。TurboTransformers支持TensorFlow和PyTorch預訓練模型的載入。它可以作為huggingface/transformers的推理加速插件，通過加入幾行python代碼獲得的BERT模型的端對端加速效果。
此前TurboTransformers已應用在騰訊內部多個線上BERT服務服務場景。其中微信常用問題回覆服務獲得1.88x加速，公有云情感分析服務獲得2.11x加速，QQ看點推薦服務獲得13.6x加速。和其他相關工具對比，TurboTransformers在性能、使用方式上都具備優勢。
據瞭解，目前TurboTransformers的功能還相對有限，未來騰訊還會進一步對其優化，在開源後，TurboTransformers也期待與社區和開發者一起共建。
隨著技術能力的不斷累積，以及以開源為代表的騰訊新代碼文化的興起，騰訊在開源領域表現亮眼：在全球最大的代碼託管平臺 Github 上，騰訊已經累計開源了100個項目，覆蓋雲原生、大數據、AI、安全、硬件等多個熱門的技術方向，並累計獲得了超過29萬Star數，躋身國際上有影響力的開源企業之一。
“騰訊希望在科研領域投入更多力量，把‘科技向善’納入公司新的使命與願景。我們將通過內外部開放源代碼等方式，積極參與‘全球科技共同體’的共建。”在2019年智博會上，騰訊公司董事會主席兼首席執行官馬化騰表明了騰訊對開源的重視。
今年年初，騰訊高級執行副總裁、雲與智慧產業事業群總裁湯道生也談及開源對騰訊的重要意義，他表示：“開源不再是開發者的個人熱情，它已成為許多技術驅動型產業背後重要的創新推動力。”
在2020年，騰訊陸續推出了針對雲的場景研發的Linux 操作系統TencentOS Server、視頻評估算法DVQA等多個開源項目，同時也積極用科技力量助力全球抗擊疫情，3月27日，騰訊健康新冠疫情模塊國際版（TH_COVID19_International）、“新冠肺炎AI自查助手” （COVID-19 self-triage assistant）也接連開源，向全球開放科技能力。
那個分分鐘處理10億節點圖計算的Plato，現在怎麼樣了？
看似毫不相干，哲學與機器學習竟有如此大的交集
黑客用上機器學習你慌不慌？這 7 種竊取數據的新手段快來認識一下
“谷歌殺手”發明者，科學天才 Wolfram
數據庫激盪40年，深入解析PostgreSQL、NewSQL演進歷程
5分鐘！就能學會以太坊 JSON API 基礎知識
