芯東西（公眾號：aichip001）
編譯 | 林卓瑋
編輯 | 江心白
芯東西12月3日消息，亞馬遜本週推出了自研雲端AI訓練定製芯片AIAWS Trainium，稱其能顯著降低訓練成本。
據悉，相較基於英特爾AI訓練芯片Habana Gaudi的亞馬遜Elastic Compute Cloud（EC2）實例，基於AWS這款AI訓練芯片的雲端實例在可用性方面更為領先。
從2021年下半年起，Trainium將搭載於EC2實例和亞馬遜完全託管機器學習開發平臺SageMaker上，同時還將支持谷歌的TensorFlow、臉書的PyTorch和MxNet等主流框架。
▲在AWS re:Invent 2020大會上，亞馬遜推出了自產芯片AWS Trainium。
一、結合Inferentia：吞吐量提高30%，推斷成本降低45%
亞馬遜聲稱，Trainium的萬億次浮點運算能力是目前雲上機器學習實例中最強的。與標準AWS GPU實例相比，Trainium將吞吐量提高30％，將每次推斷成本降低45％。
此外，亞馬遜表示將使用與其自研雲端AI推理芯片Inferentia相同的Neuron SDK。Neuron SDK是用於機器學習推理的雲託管芯片。
“推理成本通常佔據機器學習基礎架構成本的90%，Inferentia主要攻克了這部分的成本問題，不過許多開發團隊仍受到固定機器學習訓練預算的限制，” AWS官方博客中寫道，“開發團隊通常難以達到改善模型應用所需的訓練規模和強度。”
通過將Trainium和Inferentia結合起來，AWS為客戶提供了端到端的機器學習計算流程，在擴展訓練量的同時，還加快了推理流程。
目前尚無Trainium跑分結果，因此還不清楚Trainium和谷歌TPU（張量處理單元）相比孰優孰劣。
谷歌表示，即將推出的第四代TPU ASIC提供了超出其第三代TPU兩倍以上的矩陣乘法TFLOPS性能（矩陣通常用於表示輸入到AI模型中的數據），同時在內存帶寬上實現“顯著”提升，並取得互聯技術突破。
二、解決機器學習成本問題
機器學習的部署過去一直受到算法規模、速度及硬件成本的限制。
事實上， 麻省理工學院的一份報告發現，機器學習可能已接近算力極限。
根據Synced的一項研究，在為期約兩週的訓練中，華盛頓大學的Grover假新聞檢測模型訓練花費約25000美元（約為16.4萬人民幣）。
OpenAI在訓練GPT-3語言模型上花費多達1200萬美元（約為7880萬人民幣），而谷歌在訓練BERT模型時，僅花費了6912美元（約為4.54萬美元），該模型在11種自然語言處理測試中創下最佳成績。
結語：機器學習市場規模七年預計增長12倍
據業內相關數據，2017年全球機器學習市場的價值僅為15.8億美元，到2024年預計將達到208.3億美元，預計將增長12倍有餘。
隨著更多企業應用對引入AI產生需求，今年11月，亞馬遜宣佈將Alexa和Rekognition的部分計算任務轉移到Inferentia支持的雲端實例上，一方面繼續降低成本，一方面提升工作效率，同時逐漸降低對Nvidia芯片的依賴。
在AWS Trainium落地後，亞馬遜的業務將進一步向AI、機器學習訓練以及推理加速服務傾斜。
文章來源：VentureBeat
