芯東西（公眾號：aichip001）
編 | 心緣
芯東西10月5日晚間報道，剛剛，在GTC技術大會上，英偉達（NVIDIA）創始人兼CEO黃仁勳再次站在家裡廚房的爐灶前，帶來一場線上主題演講。
▲英偉達創始人兼CEO黃仁勳在廚房發表主題演講
黃仁勳一併推出面向數據中心、邊緣AI、協作工具和醫療健康場景的一系列軟硬件加速方案。此前被黃仁勳稱為“未來計算三大支柱之一”的數據處理單元DPU新品也正式亮相。
本次英偉達發佈的核心新訊亮點如下：
1、Arm最新合作進展：宣佈在三個方面進行投資，包括將GPU和DPU移植到Arm生態、加速高性能計算與雲邊端平臺、向Arm提供英偉達AI、HPC、RTX引擎等先進SDK。
2、數據中心：推出基於新型數據中心芯片架構DOCA的兩款全新DPU處理器、DOCA軟件開發包，並公佈DPU未來三年路線圖；
3、邊緣AI：推出加速企業大規模部署AI的NVIDIA EGX Egde AI平臺，宣佈簡化服務器AI應用部署和管理的NVIDIA Fleet Command新服務早期訪問計劃，推出售價59美元的入門級AI開發套件Jetson Nano 2GB。
4、協作工具：宣佈Omniverse公開Beta測試版，讓設計師可以在家中或世界各地實時協作；推出NVIDIA Maxine雲AI視頻流媒體平臺，通過提供各種AI功能，更好地連接數百萬遠程工作和學習；
5、醫療健康：宣佈正在打造英國最強大的AI超級計算機Cambridge-1，AI性能達400 petaflops，擬為該超算投資約4000萬英鎊；宣佈與全球醫療健康公司GSK達成合作；推出NVIDIA Clara Discovery平臺，加速醫療領域開發AI應用程序；參與世界上最大的抗擊新冠肺炎聯邦學習行動，保護數據隱私。
一、宣佈Arm最新進展：投資三個方面
黃仁勳以英偉達與Arm合作的最新進展作為主題演講的壓軸內容。就在上個月，英偉達宣佈以400億美元收購這家英國芯片設計公司。
“Arm是世界上最受歡迎的CPU，”黃仁勳說，“我們將共同向Arm生態系統提供英偉達加速和AI計算技術。”
▲英偉達與Arm最新合作進展
去年英偉達宣佈將CUDA及科學計算堆棧移植到Arm，今天，黃仁勳宣佈一項推進Arm平臺的重大舉措——英偉達在三個方面進行投資:
（1）英偉達將在GPU、網絡、存儲和安全技術方面對Arm合作伙伴進行補充，以創建完整的加速平臺；
（2）英偉達正與Arm合作伙伴一起為高性能計算、雲計算、邊緣和PC創建平臺——這需要芯片、系統和系統軟件；
（3）英偉達正在向Arm提供英偉達AI、HPC、RTX引擎等先進SDK。
“現在這些功能只能在x86上使用，”黃仁勳說，“有了這一舉措，Arm平臺也將在加速計算和AI計算方面處於領先地位。”
二、新型處理器DPU：基於DOCA架構，可編程、AI驅動、“零信任”安全
自今年4月宣佈完成對Mellanox收購以來，英偉達在數據中心的加碼一直備受關注。
今日，英偉達推出這筆收購所帶來的最新成果，面向數據中心的新一代可編程處理器（SoC）——
NVIDIA BlueField系列數據處理單元（DPU）。英偉達創始人兼CEO黃仁勳說，現代數據中心由軟件定義，運行數據中心的基礎設施需要消耗20- 30%的CPU核心，為了減輕CPU的負擔，需要一種新的處理器。
“我們稱之為數據處理單元（DPU）。”黃仁勳介紹說，新的NVIDIA BlueField 2 DPU是一個可編程處理器，具有強大的Arm核心和加速引擎，用於網絡、存儲和安全的加速處理任務。
▲NVIDIA BlueField-2 DPU
作為對CPU和GPU的補充，DPU具有加速、完全可編程和“零信任”安全特性，基於數據中心芯片架構DOCA（Datacenter-infrastructure-on-a-chip），將多核Arm CPU、高性能網絡接口、各種靈活和可編程的加速引擎集於一體，能提升網絡、存儲和安全性能，防止數據洩露和網絡攻擊，同時節省大量運營支出。
BlueField-2 DPU優化後，可在數據實時進出服務器時對數據進行處理，從而實現了高性能的完全可編程數據處理，同時將關鍵的網絡、存儲、安全任務從CPU卸下，釋放了CPU資源。也就是說，該芯片將計算功能移到了數據所在的位置。
以前可能要用125個CPU核提供的數據中心服務，如今一顆BlueField-2 DPU就能提供，這釋放了寶貴的CPU內核，以便運行大量其他企業應用。
▲NVIDIA BlueField-2 DPU
英偉達目前的DPU產品線包括兩款PCIe產品:
（1）NVIDIA BlueField-2 DPU：包含8個64位A72 Arm核，具備NVIDIA Mellanox ConnectX-6 Dx SmartNIC的所有功能，完全可編程，提供每秒200千兆的數據傳輸速率和加速關鍵數據中心安全、網絡和存儲任務，包括隔離、根信任、密鑰管理、RDMA/RoCE,、GPU direct、彈性塊存儲、數據壓縮等等。
（2）NVIDIA BlueField-2X DPU：計算性能是BlueField-2的85倍，除了包括BlueField-2 的所有關鍵特性外，還增強了NVIDIA Ampere GPU的AI能力，可用於數據中心安全、網絡和存儲任務，利用英偉達第三代張量核心，能夠用AI進行實時安全分析，如異常檢測和自動響應、實時流量分析在線率、動態安全編排、在線分析上傳視頻等。
▲NVIDIA BlueField-2X DPU
現場，黃仁勳透露了為期三年的DPU路線圖：
BlueField-2 DPU處理器目前正在試用階段，預計2021年進入主要服務器製造商的新系統，BlueField-2X還在開發中，預計2021年上市。
▲NVIDIA BlueField DPU路線圖
基於相同的DOCA架構，BlueField-3和BlueField-3X將在2022年問世，搭載更強Arm核，網絡性能達到400Gbps；BlueField-4將在2023年問世，計算性能將達到BlueField-2的近600倍。
英偉達還提供了NVIDIA DOCA軟件開發工具包，現在可供早期訪問合作伙伴使用。
▲NVIDIA DOCA SDK
正如NVIDIA CUDA使得開發者能構架GPU加速的應用程序一樣，新NVIDIA DOCA SDK使得開發者能在DPU加速的數據中心基礎設施服務上，構建軟件定義、硬件加速網絡、存儲、安全和管理應用程序。DOCA還提供了一組標準的開放API來幫助開發者在DPU上運行其代碼。
DOCA被完全集成到NVIDIA NGC中，為第三方應用程序供應商提供了一個方便的、集裝箱化的軟件環境，以利用先進的DPU數據中心加速服務，並開發、認證和分發應用程序給客戶。
華碩、源訊、Dell Technologies、富士通、技嘉、H3C、浪潮、聯想、Quanta)/QCT、超微等全球領先的服務器製造商均已計劃將英偉達DPU集成到它們的企業級服務器產品中。
VMware、Canonical、紅帽、Check Point Software Technologies等一些軟件基礎設施合作伙伴也已宣佈或計劃支持BlueField-2 DPU。
三、加速大規模部署AI，推出NVIDIA EGX Edge AI平臺和Fleet Command早期訪問計劃
面向邊緣基礎設施，英偉達帶來NVIDIA EGX Edge AI平臺，為全球科技領袖及數百家創業團隊提供加速數據中心和邊緣AI的GPU加速服務器，使得各種行業、各種規模的組織能夠快速有效地大規模部署AI。
▲NVIDIA EGX Edge AI平臺
基於英偉達EGX AI平臺的系統可從Dell Technologies、浪潮、聯想、超微等領先服務器製造商處獲得，並已得到Canonical、Cloudera、紅帽、SUSE和VMware等軟件基礎設施提供商的支持。
此外，英偉達宣佈EGX平臺正在擴展，將把NVIDIA Ampere GPU和BlueField-2R DPU功能結合在一張PCIe卡上，為企業提供一個共同的平臺來構建安全、加速的數據中心。
▲NVIDIA EGX Edge AI平臺
EGX平臺的核心是一個可在NVIDIA NGC上使用的優化AI軟件棧，NVIDIA NGC提供了一系列行業特定的AI工具包和預培訓的模型，使得在NVIDIA認證的系統上構建和部署AI應用程序更加容易。
未來的企業數據中心將在10000個不同位置擁有一臺或多臺服務器，而非在一個位置擁有10000臺服務器。為了簡化和保護這些服務器上AI應用程序和模型的部署和管理，英偉達宣佈了一項名為NVIDIA Fleet Command的新服務早期訪問計劃，目前向合格的客戶開放。
這種混合雲平臺將邊緣計算的安全性和實時處理能力與遠程管理和軟件即服務的易用性相結合。
▲NVIDIA EGX AI Platform Fleet Command
通過一個統一的控制平面，Fleet Command集中管理分佈在廣大地區的服務器。其一觸式配置、空中軟件更新、遠程管理和詳細監控儀表板，使執行團隊更容易減輕IT負擔，最大限度地利用其AI應用和達到最高效率。
全球供應鏈解決方案領導者KION集團是最早接觸Fleet Command的公司之一，正用NVIDIA EGX AI平臺為其智能倉庫系統開發AI應用程序，提高零售配送中心的吞吐量和效率。
四、售價59美元的入門級AI機器人開發套件
面向邊緣側，英偉達還推出了邊緣AI機器人系列產品Jetson AI在Edge平臺上的最新產品——入門級開發工具包Jetson Nano 2GB，售價僅59美元，將於本月底發售，這一價錢幾乎只有去年發佈的99美元Jetson Nano開發工具包的一半。
▲NVIDIA Jetson Nano 2GB開發套件
通過在機器人和智能物聯網等領域創建手工項目，該工具包為學生、教育工作者、機器人愛好者提供了一個可擴展的平臺來學習和創建AI應用程序。
它使用的是與NVIDIA CUDA-X加速計算堆棧相同的技術，並得到了NVIDIA JetPack SDK的支持。
為了支持這一努力，英偉達還宣佈提供免費的在線培訓和AI認證項目，作為眾多開源項目、how-to和視頻的補充。
目前Jetson Nano 2GB開發工具包已獲得來自組織、企業、教育者以及嵌入式計算生態系統合作伙伴的認可。
五、Omniverse平臺正式公測，讓遠程3D仿真協作像編輯文檔一樣容易
在協作工具方面，英偉達宣佈Omniverse平臺的公開Beta測試版，使得設計師可以在家中或世界各地實時協作。
Omniverse在今年秋季即可下載。該平臺融合了英偉達在圖形、仿真和AI方面的突破，是世界上第一個基於英偉達RTX實時渲染的3D仿真和協作平臺，將物理和虛擬世界融合，以逼真的細節實時模擬現實，對於在機器人、汽車、建築、工程、製造、媒體和娛樂行業工作的客戶來說是必不可少的。
▲NVIDIA Omniverse平臺
團隊可基於Omniverse平臺實現遠程實時協作，無論是建築師修改3D建築設計、動畫師修改3D場景，還是工程師合作開發自動駕駛汽車，都像在網上共同編輯一份文檔一樣容易。
例如，NVIDIA Omniverse增強了NVIDIA Drive Sim的能力，實現了前所未有的對大規模精細環境的實時、物理精確、多GPU模擬。
▲在NVIDIA Omniverse驅動DRIVE Sim
在Omniverse公開Beta版前，愛立信、Foster + Partners、ILM及其他40多家公司，以及多達400名個人創造者和開發者，已經對該平臺進行了為期一年的早期訪問，並向英偉達工程團隊提供了反饋。
盧卡斯影業及工業光魔技術副總裁Francois Chardavoine認為：“Omniverse展示了實時光線追蹤的可能性，在視覺特效和動畫製作的各個階段，改進創作過程的潛力將是革命性的。”
六、NVIDIA Maxine平臺： 模塊化設計輕鬆整合AI功能，大幅改善視頻會議體驗
今天英偉達還推出了基於雲計算的流媒體視頻AI平臺NVIDIA Maxine，為開發者提供了一套基於雲計算的GPU加速AI視頻會議軟件，通過整合了英偉達先進的視頻、音頻和對話AI功能，可以大幅提高流媒體質量和改善視頻會議體驗。
“AI可以為視頻通話創造奇蹟，”黃仁勳說，“有了Jarvis和Maxine，我們有機會徹底改變今天的視頻會議，並創造未來虛擬會議的存在。”
▲NVIDIA Maxine
Maxine平臺的模塊化設計使開發人員可以輕鬆選擇AI功能，將其集成到他們的視頻會議解決方案中。
通過在雲端NVIDIA GPU上運行AI推理工作負載，視頻會議服務提供商可以使用Maxine平臺為數十萬用戶提供領先的AI能力，如凝視校正、超分辨率、實時字幕、噪聲消除、人臉重亮等等。
由於數據是在雲端處理的，而不是在本地設備上處理的，因此終端用戶無需任何專用硬件，就可以享受這些AI新特性，同時減少電腦、平板電腦和手機等終端設備上的數據流。
通過使用AI，Maxine可以將視頻通話所消耗的帶寬減少10倍。它並沒有在整個屏幕上顯示像素，而是分析通話中每個人的關鍵面部特徵，然後在通話另一邊的視頻中智能地重新激活人臉，使得流媒體視頻在互聯網上以更少的數據來回流動。
藉助這一基於AI的視頻壓縮技術，開發者可以將視頻帶寬消耗減少到H.264流媒體視頻壓縮標準要求的1/10，從而降低了供應商的成本，併為終端用戶提供了更流暢的視頻會議體驗。
基於英偉達的生成對抗網絡（GAN）研究，Maxine平臺使得視頻會議感覺更像面對面的交談。
例如，面部對齊功能可以自動調整人臉，這樣通話時人們看起來是面對面的，而凝視校正則可以模擬眼神交流，即使攝像頭與用戶的屏幕沒有對齊。自今年年初以來，視頻會議的數量增長了10倍，這些功能有助於幫人們在交談中保持專注。
開發人員還可以添加一些功能，讓參與者選擇自己的動畫角色，這些動畫由他們的聲音和情緒實時自動驅動。即便用戶遠離屏幕，自動幀選項使得視頻反饋依然能跟隨說話者。
通過使用NVIDIA Jarvis SDK支持的AI對話特性，開發者還可以集成虛擬助手，通過語音識別、語言理解和語音生成技術，實現做筆記、設置動作項目、用類似人類的聲音回答問題等功能。翻譯、封閉式字幕和轉錄等其他AI會話服務，有助於確保參與者能夠理解電話中討論的內容。
此外，雲本地架構有助於節省成本並提供多整合AI功能。視頻會議需求很難預測，因為在任意時間，都可能會有數百甚至數千名用戶試圖加入同一個電話。
NVIDIA Maxine平臺利用在NVIDIA GPU上運行在Kubernetes容器集群中的AI微服務，幫助開發者根據實時需求擴展他們的服務。用戶可以同時運行多個AI特性，並滿足應用程序延遲要求。
Maxine平臺集成了幾項NVIDIA AI SDK和API的技術。除了NVIDIA Jarvis外, Maxine平臺還藉助NVIDIA DeepStream高通量音頻和視頻流SDK和NVIDIA TensorRT SDK，用於高性能深度學習推理。這些NVIDIA SDK所提供的AI音頻、視頻和自然語言能力，都是在NVIDIA DGX系統上進行數十萬小時的訓練而開發出來的。
七、打造英國最強AI超算Cambridge-1，AI算力達400 petaflops
在醫療健康領域，英偉達宣佈
正打造英國最強大的AI超級計算機Cambridge-1，幫助英國醫療健康研究人員用AI來解決緊迫的醫學挑戰。該超算預計在年底前上線，這也是英偉達設計和製造的第一臺用於外部研究訪問的超級計算機，英偉達將為該超算投資約4000萬英鎊。
▲Cambridge-1 AI 超級計算機
Cambridge-1超算將是一個NVIDIA DGX SuperPOD系統，它包含80個英偉達DGX A100系統，採用英偉達Mellanox InfiniBand技術，AI性能超過400 petaflops，Linpack性能超過8 petaflops，將在最新全球TOP500超算排行榜中躋身第29名，在當前Green500強排行榜中將躋身全球最節能超算的前三甲。
英偉達還宣佈與全球醫療健康公司GSK及其AI實驗室建立合作關係，構建AI藥物研發實驗室（AI drug discovery lab），以推進藥物和疫苗研發。
GSK和AstraZeneca均在首批用Cambridge-1超算進行研究的醫療健康公司之列，此外來自Guy’s and St Thomas’ NHS Foundation Trust、倫敦國王學院、Oxford Nanopore公司的研究人員也計劃利用該系統。
Cambridge-1超算聚焦的四個關鍵領域為：
（1）聯合行業研究：解決大規模醫療保健和數據科學問題，從而改善患者的治療結果；
（2）授予大學的計算時間：NVIDIA GPU時間的訪問將作為一種資源捐贈給特定研究，以幫助尋找治療方法。
（3）支持AI初創企業：英偉達將提供學習機會，並與初創企業合作，培育下一代並提供早期使用AI工具的機會。
（4）培養未來的AI從業者：該系統將成為世界級研究人員的目的地，併為下一代提供實踐經驗。
八、加速計算藥研，推出NVIDIA Clara Discovery工具
NVIDIA將幫助研究人員利用為NVIDIA DGX優化的先進工具NVIDIA Clara Discovery，它集合了成像、放射學和基因組學的力量，為醫療領域最大的計算任務開發AI應用程序。
▲NVIDIA Clara Discovery
其特點是預先訓練的AI模型和應用程序特定框架，以幫助研究人員定義下一代藥物發現過程，從尋找目標、構建化合物到開發反應。
利用最近在自然語言處理方面的一項突破，研究人員現在可以利用特定於生物醫學的語言模型來組織、理解和激活大型數據集、研究文獻和整理現有治療和其他重要現實數據的論文或專利。
九、篩查新冠肺炎患者：20天內在20家醫療構建預測氧氣需求的AI模型
在保護數據隱私安全、不共享數據的前提下， NVIDIA Clara聯邦學習技術能實現預測患者氧氣需求，並構建一個無需考慮地理位置、患者人數或數據大小，更易於推廣的AI模型。
該聯邦學習模型將在未來幾周作為NVIDIA Clara的一部分在NGC上發佈。
英偉達和Massachusetts General Brigham醫院的研究人員開發了一種AI模型，可以確定因COVID-19症狀出現在急診室的患者在初次檢查幾小時甚至幾天後是否需要補充氧氣。
▲氧氣預測AI工作流
最初模型被命名為CORISK，由該醫院的科學家Quanzheng Li博士開發。在許多國家可能開始出現第二波COVID-19患者之際，該方案將醫學成像和健康記錄結合起來，用來幫助臨床醫生更有效地管理住院治療。
為了將其推廣到儘可能多的醫院，英偉達和該醫院啟動了一項名為EXAM （EMR CXR AI模型）的計劃，與來自世界各地的20家醫院合作。據介紹，
這是一項規模最大、最多樣化的聯邦學習計劃。在短短兩週內，全球合作完成了一個曲線下面積為0.94 （AUC目標為1.0）的模型，從而對住院病人所需的氧氣水平做出了出色的預測。
▲聯邦學習示意圖
通過使用NVIDIA Clara聯邦學習框架，各個醫院的研究人員能夠使用胸片、病人的生命值和實驗室值來訓練一個局部模型，並通過一種稱為聯邦學習的隱私保護技術，將模型權重的子集與全局模型共享。
該模型的最終目標是預測出現在急救室的患者需要補充氧氣的可能性，幫助醫生決定對患者的適當護理水平，包括ICU的設置。
除了這一項目外，其他大規模聯邦學習也正在進行中。例如Owkin正與英偉達、倫敦國王學院以及在MELLODDY製藥集團的十多個其他組織，基於全球最大的AI協作藥物化合物數據集，使用聯邦學習技術在不犧牲數據隱私的前提下實現性能突破。
倫敦國王學院希望，聯邦學習技術能幫助在中風和神經損傷分類、確定癌症的根本原因以及為患者推薦最佳治療方法等方面取得突破。
結語：英偉達持續發力數據中心
繼今年5月GTC技術大會甩出一系列基於安培GPU架構的硬核AI新品後，今天英偉達釋放的新訊進一步聚焦在強化數據中心等四個關鍵領域的實力。
顯然英偉達並不饜足於其在雲端AI加速和圖形處理領域的領先地位，而是針對客戶及開發者痛點持續補足缺口。
尤其是英偉達今日展示的BlueField系列DPU處理器，是其整合Mellanox技術面向數據中心的又一次發力。如今英偉達400億美元收購Arm的交易案正在推進中，可以看到，如果這一交易得以完成，不僅將為英偉達進軍基於Arm架構的超算和服務器領域帶來便利，也將有助於其DPU處理器的發展。
除此之外，作為算力需求最大的產業之一，醫療診斷和新藥研發顯然也被英偉達視作拓展疆域的重點，無論是持續完善的NVIDIA Clara平臺，還是英偉達打造的AI超算，都在為AI落地醫療場景提供更大的動能。
