先突破「內存牆」再來談邊緣AI吧

為快速成長的人工智能(artificial intelligence;AI)應用實現高效率的運算性能,必須解決“內存牆”(memory wall)的瓶頸,並推動新的架構解決方案;這是法國CEA Tech旗下技術研究機構Leti關注的重點領域。

Leti首席執行官Emmanuel Sabonnadiere在Leti年度創新會議上接受《EE Times》訪問時表示,業界需要一種高度整合的整體途徑,將AI從軟件和雲端移至邊緣(edge)的嵌入式芯片。

Sabonnadiere說:“邊緣確實需要一些創新,採用除了CMOS以外的不同架構,從結構上整合至系統,並從雲端實現自主性——例如針對自動駕駛車,您需要雲端儘可能地獨立作業。”

他認為恩智浦(NXP)可望成為驅動在邊緣實現更多運算的一項關鍵指標,因而針對高通(Qualcomm)併購恩智浦一案發表評論:“你覺得高通為什麼要買下恩智浦?它是為了(邊緣運算)的感測,而將數位置於感測之後。” Emmanuel Sabonnadiere

為了解決運算架構典範,Sabonnadiere期望能在Leti與斯坦福大學(Stanford University)電氣工程和計算機科學系教授Subhasish Mitra帶領的團隊合作中取得一些突破。Mitra的研究已經進展一段時間了,專注於為龐大資料和密集互連應用探索內存內處理(processing-in-memory)的新架構。這項研究獲得了美國國防部先進研究計劃局(DARPA)、國家科學基金會(NSF)、Semiconductor Research、STARnet SONIC和斯坦福大學SystemX聯盟的成員公司共同資助。

Sabonnadiere談到芯片驗證時說:“我們深信這是解決‘超越摩爾定律’(more-than-Moore)挑戰的前進方向,並且已經要求Mitra教授打造這一研究展示了。”

在會議上,Mitra表示,龐大的資料超級風暴正襲捲而來,而其運算需求遠超過處理能力,因此必須使用支持先進3D整合的運算納米系統架構。

Mitra說:“數據必須經過處理才能創造決策,但目前還有太多我們無法處理的‘暗黑’數據。以Facebook為例,它必須採用256個Tesla P100 GPU,才能在1小時訓練好ImageNet,這在以前大約需要幾天的時間。”

提高運算性能的選擇

那麼目前提高運算性能的選擇是什麼?Mitra說,其一是要有一個更好的邏輯開關——但這方面的實驗展示並不多。第二種是使用設計“技巧”,例如多核心、加速器或電源管理技巧。但他也補充說,可用的技巧並不多,而且當實施這些技巧而使設計變得更復雜,甚至會使驗證變得更困難。另一個挑戰則是Mitra所謂的“內存牆”。

Mitra說:“各種類型的龐大數據應用中,一個共同點就在於內存牆——系統需要更有力地存取內存。”

Mitra說,這就是專注於內存的運算概念所在,也是與Leti合作的關注重點——Sabonnadiere希望將在這方面取得突破。它使用先進3D整合使得運算更接近於數據。該芯片採用碳納米管(CNT),因為Mitra表示它們是唯一可以超越CMOS和電阻式隨機存取內存(RRAM)的技術。

Subhasish Mitra

RRAM和碳納米管彼此垂直建構,形成具有邏輯層和內存層交錯的密集3D計算機架構。在這些分層之間插入超密走線,應該就能以這種3D架構解決通訊的瓶頸。

Mitra將這個問題比喻為從舊金山(San Francisco)到加州伯克利(Berkeley)之間的交通挑戰——由於只有三座橋樑可以穿越兩個都市,因而造成了交通堵塞。然而,如果打造更多的橋樑——或者在他提出的3D架構情況下,就能夠解決多納米級交錯層間過孔的瓶頸。

內存和軟件2.0的突破

Leti首席科學家Barbara De Salvo表示,業界並未充份重視新興內存技術,這些技術通常仍被視為利基技術。 Barbara De Salvo

De Salvo說:“在內存領域,業界仍持續採用傳統技術。而像電阻式RAM、磁阻式RAM和相變內存等新興技術仍未被充份利用。但它可望在實現新型架構方面帶來巨大突破。”De Salvo並補充說,在未來幾年,在軟件中使用深度學習和AI也可能中在運算方面取得重大突破。

她說:“我指的是一個使用深度學習和機器學習來開發軟件的新概念。軟件是一個系統中最昂貴的部份之一。透過使用深度學習產生軟件,以前需要花六個月的一些任務現在可以只需要幾天的時間。”

編譯:Susan Hong


分享到:


相關文章: