通用計算的發展哺育了機器學習，機器學習也照亮了專用計算的前景。
AI 科技評論按：近日，ISCA 2018，同時也是第 45 屆 ISCA，於當地時間 6 月 2 日至 6 日在美國加州洛杉磯市召開。
ISCA 2018 現場，John L. Hennessy（左） 和 David A. Patterson（右）與 Alan Turing 的半身像合影
會議概況
第一天早上的開幕演講中組委會首先介紹了會議概況。如前文所說，今年 ISCA 共有超過 785 名參會者，大約 710 名參與了會議正會。這一數字有可能會創下 ISCA 這 45 年來的新的歷史紀錄。會議設置了 18 個論文報告 session，主題包括雲和數據中心、新興 app 的加速、預讀取（prefetching）、語言和模型、虛擬內存、相關性與存儲排序、新興範式、持續性（persistence）、新興內存、存儲器、控制器和控制系統、移動平臺、安全、互聯網絡、GPU，以及近年來火熱的機器學習系統。
除了 John Hennessy 與 David Patterson 的圖靈獎獲獎演講外，還有三位特邀嘉賓 Kim Hazelwood、Kunle Olukotun、Doug Burger 的主題演講以及 ACM - IEEE CS Eckert-Mauchly 獎獲得者 Susan Eggers 的演講。
特邀嘉賓演講
首位演講的特邀嘉賓是來自 Facebook 的 Kim Hazelwood。Kim 是 Facebook 人工智能基礎設施團隊（Facebook AI Infrastructure Foundation）的負責人，這個團隊的職責是為 Facebook 的的生產化和移動化機器學習應用設計高效的、可拓展的軟硬件平臺，而她自己的研究興趣包括負載描述、性能分析、計算機系統架構以及可拓展的數據中心繫統。
Kim Hazelwood 的演講主題為「Applied Machine Learning at Facebook Scale: Separating Opportunity from Hype」（Facebook 規模的機器學習應用：從熱潮中看到機會），介紹了在熱炒的機器學習概念背後，Facebook 為了真正地應用機器學習技術做出的努力和相關的發現；這裡也是機器學習和計算機架構設計的交叉點。演講中有一些對機器學習領域的研究人員以及應用開發人員很有啟發的信息：
用一定的數據訓練一個模型需要多少計算量、多少時間大家基本都心裡有數，那麼推理階段的計算量需求如何呢？實際上 Facebook 的機器學習模型每天要做超過兩千億次推理，其中包括五十億次語言翻譯，以及數百萬次的由自動檢測系統主動地刪除假冒賬戶。
在研究機器學習理論本身的人看來，工作流程分為「數據-特徵-訓練-評價-推理」五部分是自然而然的事情。而根據機器學習算法應用時的系統需求來看，計算機架構研究人員眼中的機器學習對數據的存儲、網絡連接、計算能力都提出了新的挑戰。
大規模應用機器學習系統時的系統瓶頸在哪裡？我們現在對計算和存儲都有許多的並行化手段，所以根據阿姆達爾定律，最大的瓶頸已經變成了（難以並行化的）網絡連接。
從工程角度看，什麼樣的研究投入方式是有效的？不是什麼熱就投入什麼，投入程度應當和機會（也就是系統瓶頸）相對應。假如網絡因素對系統瓶頸的貢獻為 75%，那麼就不應當在已經熱門的計算領域投入 75%，而就應該在網絡因素方面投入 75%。
所以 Kim 也提出了自己的「機會方程」：正確的投入方式需要有一些不平衡；要小心別人一窩蜂擠進去的領域。已經擁入很多研究者的領域包括量化、做硬件的推理加速器初創公司、不必要的深度學習方法。而計算、網絡與存儲之間的平衡，工具、編譯器、軟件，端到端解決方案等課題就是不那麼火熱的、更適合的投入方向。
目前全世界已經有超過 10 億部手機上運行著神經網絡應用。在移動設備上本地運行的機器學習算法在隱私性、本地響應性和用戶體驗上都有更好的表現，但移動設備的一大挑戰就是計算能力非常有限，使用 ARM 處理器的設備中 60% 還是基於老舊的 32 位 arm-v7 指令集，同時超過半數的設備只有不多於 4 個核心。這樣的結果就是，峰值計算性能高於 200 GFlops 的設備只有不到 20%，高於 600 GFlops 的簡直鳳毛麟角。
網絡連接狀況也不容樂觀，4G 網絡的覆蓋區域非常有限，更別提還有很多連 2G 都沒有的區域了。（雷鋒網 AI 科技評論注：中國區域是黑色應該只是因為 Facebook 沒有詳細的數據。實際上根據中國信息通信研究院發佈的數據，截至 2017 年 6 月，我國 4G 基站已累計建成約 300 萬個，而全世界的 4G 基站總數也就只有約 500 萬個）
而如果想要開發在移動設備上運行的機器學習模型，嚴重的生態碎片化也帶來了許多麻煩：超過 20 家芯片製造商、超過 25 種處理器微架構、超過 15 種 GPU 架構、兩種主流操作系統、三種主流圖形 API、兩種主流計算 API。
除了移動計算的挑戰之外，大規模可拓展機器學習應用也需要面對晝夜負載不平衡、硬件設施採購慣性、容災與恢復、軟件平臺設計等挑戰。在演講最後，Kim 希望大家不要忘記了各項技術發展的基本規律，並以此著眼解決那些真正重大的問題。
圖靈獎演講
Alphabet 公司董事長、斯坦福大學前校長 John Hennessy 與谷歌 TPU 團隊、UC 伯克利大學退休教授David Patterson 的圖靈獎獲獎演講自然也是會議的重頭戲之一。他們的演講題目是「A New Golden Age for Computer Architecture: Domain-Specific Hardware/Software Co-Design, Enhanced Security, Open Instruction Sets, and Agile Chip Development」（計算機架構的新的黃金時代：領域專用的軟硬件協同設計，增強的安全性，開放指令集，以及敏捷芯片開發）。
演講內容要點如下：
自 1980 年代 Carver Mead 和 Lynn Conway 讓芯片設計變得平民化，以及高級編程語言取代了機器語言之後，RISC、超標量、多級緩存、預測與編譯等方面的計算機架構創新開啟了電子計算機發展的一個黃金時代，計算機的性能幾乎每年都可以增長 60%。稍後到了 1990 和 2000 年代，計算架構方面的創新雖然開始放緩，但不斷增加的處理器頻率和不斷增大的處理器緩存依然引領了計算性能的持續提高。直到近年來 Dennard 縮放定律和摩爾定律也開始失效，2017 年時單核心處理的性能僅僅比上一年提升了 3%。除了處理器性能提升遇到困難之外，Spectre 之類的漏洞也展示出了基於運行時間的攻擊導致信息洩露的風險。
上一個黃金時代已經結束，但 John Hennessy 與 David Patterson 認為一個新的黃金時代即將開始。這個黃金時代的主題是大幅改善的成本、性能、能源消耗以及安全性。面對著已經失效的 Dennard 縮放定律和摩爾定律無法繼續提供指數增加的資源，這些計算架構方面的挑戰要比以前的挑戰更難解決。二人認為，以下的幾個領域對這個新的時代至關重要：
1、為高級別、領域專用語言服務的軟硬件協同設計
Python 之類的高級編程語言以及 TensorFlow 之類的領域專用編程語言通過提升軟件複用和抽象級別，大幅提升了程序開發人員的生產力。曾經 1980 年代時 C 編譯器和 RISC 架構的編譯器-微架構協同設計帶來了三倍的性能提升，新的黃金時代裡的新的技術進展將有可能帶來新的編譯器和新的領域專用計算架構，十倍甚至更多的性能提升都不是夢想。
2、增強的安全性
過去的 40 年裡信息技術的發展日新月異，但信息安全的戰役中我們正節節敗退。直到現在，人們對於計算架構安全性的要求也僅限於分頁級別的保護以及支持虛擬機的運行。正是計算機架構定義本身對於運行時間的忽略導致了 Specture 這樣的攻擊方法出現，根據運算時間的長短就可以洩露本來應當被保護的數據。架構設計師們是時候重新定義計算機架構了，安全應當成為第一要務，保護數據不在運行時間攻擊中洩露，或者起碼也要大幅減小這種風險。
3、免費、開放的計算架構以及開源的實現
為了改善上面提到的問題，指令集架構（ISA）很有可能需要作出改變，而這對於專有 ISA 來說很難做到。為了有能力應對這些艱鉅的挑戰，John Hennessy 與 David Patterson 希望有更多聰慧的大腦可以參與進來，而不僅僅是為現有的 ISA 持有者打工的工程師們。那麼，RISC-V 這樣的免費、開放的 ISA 就可以成為一份送給研究人員們的大禮，因為：
許多不同組織的人都可以同時為 RISC-V 做出貢獻
它的設計中注重模塊化和拓展性
它帶有完善的軟件堆棧，包括編譯器、操作系統和 debugger，它們都是開源的，從而也就是可以定製化修改的
作為現代 ISA，它可以勝任雲級別的服務器到移動和 IoT 設備的各種應用
RISC-V 由一個有 100 位成員的基金會推動，這保證了它的長期穩定性以及長期演進
另一方面，開放的計算架構也為 FPGA 和真實芯片兩者都帶來了開源處理器設計的可能性，未來的架構設計師只需修改現有的 RISC-V 設計以及對應的軟件堆棧即可。即便 FPGA 實現的處理器的運行速度可能只有 100MHz，這也已經足夠運行千百億條指令、或者部署在網絡上面對真實攻擊測試防禦能力。藉助 FPGA 的可塑性，RISC-V 生態系統可以讓新功能實驗性探索的部署、評估、迭代升級流程從以往的若干年縮短到若干天。實現這種暢想所需的知識產權也將不僅限於 CPU，GPU、神經網絡加速器、內存控制器、PCIe 控制器等都需要。隨著摩爾定律的終結，工藝過程穩定性的提升也使得這個目標比以前更容易達成。這種需求也會讓硬件架構設計師們未來能夠產生大規模的影響，就像軟件工程師們可以參與數據庫系統、操作系統之類的開源項目開發一樣。
4、芯片的敏捷開發
隨著計算架構創新的重點從通用計算 CPU 轉向領域專用以及異質計算處理器，芯片的設計時間及成本方面也需要有大的突破（就像 1980 年代 VLSI 帶來突破那樣）。小規模的團隊也應當可以有能力為某個特別的領域或者應用設計專用的芯片。這需要硬件設計流程變得更高效，更像現代軟件設計。
與大芯片公司採用的從頂向下/單向的 waterfall 開發流程不同，敏捷開發流程讓小團隊也可以設計並迭代升級能夠工作、但並不完整的芯片原型設計。巧合的是，提升了軟件複用性的程序語言改進如今也已經集成在了最新的硬件設計語言中，這讓硬件設計和複用變得更為簡單。論文中紙面上的芯片佈局當然不壞，但構建出真實的芯片才是讓團隊中每個成員都能感到激動的事情，而且這也是驗證運行時間、能耗等重要特性的唯一方法。有一則好消息是，臺積電用最新工藝製作 100 個小型測試芯片的價格已經下降到了只需 3 萬美元，那麼，可以說是幾乎所有項目團隊都可以負擔得起在真實芯片上做最終的驗證步驟，同時也可以享受到自己的想法成功工作在硅片上的幸福感。
John Hennessy 與 David Patterson 兩人相信，標準的微處理越來越難以提升的性能、高級別領域專用的語言與安全性方面的機會、專有 ISA 鏈上的架構設計師的解放、以及 Dennard 縮放定律和摩爾定律的失效將共同帶來一個計算架構的新的黃金時代。開源生態系統、芯片原型的敏捷開發都會帶來實實在在的進步，從而加速商業應用。兩人期待新的黃金時代的技術進步會像上一個時代一樣地快，只不過如今的關注點是在於成本、能耗、安全，同時兼顧性能。
ACM - IEEE CS Eckert-Mauchly 頒獎
在 ISCA 2018 的頒獎環節，除了多位新入選 IEEE Fellow、ACM Fellow 的頒獎，以及多個 ACM SIGARCH、IEEE TCCA 獎項外，還有一個重頭戲，那就是 Eckert-Mauchly 獎的頒獎。
2018 年 ACM - IEEE CS Eckert-Mauchly 獎的獲得者是華盛頓大學計算機科學與工程學院教授 Susan Eggers，以表彰她在同步多線程處理器架構和多處理器緩存共享與一致性方面的傑出貢獻。Susan Eggers 是領域內頂尖的計算機架構設計師，是 Eckert-Mauchly 獎設立 39 年來的第一位女性獲得者，還是一位經歷非常獨特的工程師。Susan Eggers 於 1965 年獲得了經濟學碩士學位，在相關領域工作了 18 年後，決定改變職業，轉向了計算機工程方面的研究。1983 年，Susan Eggers 進入 UC 伯克利大學電子工程和計算機科學系讀研究生，於 1989 年獲得博士學位，然後來到華盛頓大學以助理教授的身份開始她的學術生涯；此時的她已經 47 歲。
從 1980 年代末起，Susan Eggers 在共享緩存的一致性（coherency）協議以及其他內存相關的多處理器問題中做出了重大成果；她展開了最早的數據驅動方法的關於共享內存的多處理器計算機的實驗，這極大地提升了整個領域對於軟件和硬件一致性技術的理解。她也因此在 2002 年當選 ACM Fellow。
Susan Eggers 最著名的成果是在同步多線程（simultaneous multithreaded，SMT）處理器的開發以及商業化方面的開創性工作；這是過去三十年的計算機架構發展歷程中最重要的進步之一。面對簡單增加邏輯和存儲單元無法繼續顯著提升處理器性能的狀況，Susan Eggers 等研究者提出，讓計算機有能力同時計算多項操作、執行多個進程，也就是提升計算機的並行計算能力，是最好的提升性能方式。在 1995 到 2003 年間，Susan Eggers 和她的同事們開發並驗證了同步多線程技術，作為提升 CPU 性能的新方式。同步多線程技術允許多個獨立的程序指令序列（也就是線程）把它們的線程並行方式轉化為更簡單的指令級別的並行方式，從而更好地利用了計算機中的資源，達到了性能提升。Susan Eggers 和她的同事們在 ISCA 發表了多篇標誌性的論文並介紹了許多領先發現，展現了同步多線程技術背後的思想、顯著的性能提升以及實現這項技術的簡易性。
ISCA 2018 現場，Susan Eggers 上臺領獎
AI 科技評論對 ISCA 2018 的介紹就到這裡。更多人工智能、計算機、機器學習學術動向，請繼續關注我們。
ISCA 2018 官網：iscaconf.org
圖靈獎演講視頻回放：
https://www.acm.org/hennessy-patterson-turing-lecture
現場照片來源 IEEE Soft-magazine 及 清華大學博士生塗鋒斌，特此感謝。
對了，我們招人了，瞭解一下？
BAT資深算法工程師獨家研發課程
最貼近生活與工作的好玩實操項目
班級管理助學搭配專業的助教答疑
學以致用拿offer，學完即推薦就業
┏(＾0＾)┛歡迎分享，明天見！
閱讀更多 AI科技評論 的文章
