連接AI和量子計算,英特爾、Mobileye宣佈最新突破

如今,深度學習在很多方面都取得成功,但幾乎沒有理論可以解釋這一現象。正如 Facebook 人工智能團隊的首席科學家 Yann LeCun 所說,深度學習與蒸汽機的發展有些相似,因為蒸汽機也是比熱動力理論超前很多年出現。

2019 年 3 月 13 日的深度學習科學會議(由美國國家科學院舉辦)上,英特爾的高級副總裁及 Mobileye 的董事長兼 CEO Amnon Shashua 報告了他們關於深度學習理論的最新研究。

該報告相關的文章——“深度學習架構中的量子糾纏”於 2019 年 2 月 12 日發表在《Physical Review Letters 》期刊上。該項研究工作證明了深度學習可以解決一些問題,並由此提出了一個有前途的量子計算發展方向。這得益於兩個最成功的神經網絡模型中的冗餘信息,即卷積神經網絡(convolutional neural nets,簡稱CNNs)和循環神經網絡模型(recurrent neural networks,簡稱RNNs)。

Amnon Shashua 是希伯來大學(位於耶路撒冷)計算科學專業的教授,在1999 年與 Ziv Aviram 一起創立了 Mobileye。作為開發高級駕駛輔助系統的全球先行者,Mobileye 在 2018 年被英特爾以 141 億美元的價格收購。

連接AI和量子計算,英特爾、Mobileye宣佈最新突破

(來源:英特爾、Mobileye )

與深度學習正相反,量子計算領域有很多計算理論,但是實際應用卻很少。多年以來,Shashua 等研究人員一直思索如何模擬所謂的多體問題的量子計算。物理學家 Richard Mattuck 定義了“多體問題”研究,即研究多個實體間的相互作用對一個多體系統行為的影響。多體系統中還涉及了電子、原子、分子或者其他實體。

Shashua 團隊證明了,CNNs 和 RNNs 比傳統的機器學習方法更好,比如“受限玻爾茲曼機(Restricted Boltzmann Machine,簡稱RBM)”。RBM 是在1986 年提出的一種生成式隨機神經網絡方法,可謂是物理研究中的中流砥柱,尤其在量子理論模擬方面。

Shashua 等在文章中寫道,“CNNs 和 RNNs 中的深度學習架構可以高效地模擬高度糾纏的量子系統。”

糾纏是指量子系統中多體相互作用之間的相關性。目前的量子計算頗具優勢,能夠以驚人的效率計算糾纏。利用傳統的電子計算去模擬這些是非常困難的的,甚至是不可能的。

他們寫道,“我們的研究量化了深度學習的強大功能,能夠以高糾纏波函數進行表示,並且理論上推動了深度學習架構在多體物理研究領域裡的運用。”

研究人員將 CNNs 和 RNNs 應用到他們設計的擴展中,進行研究。他們將此稱之為“ trick” 。結果證明,CNNs 和 RNNs 結構包含了最基本的信息“重複使用”。

比如,利用 CNN 模型時,“內核”,即在圖像上運行的滑動窗口,在每一時刻都會重疊,因此圖像的一部分被多次攝取到 CNN 中。利用 RNN 模型時,神經網絡每一層的信息存在循環利用,類似於重複使用。

這樣的架構特點使得神經網絡表示度產生指數級增長,而計算參數和成本則只是線性增長。換句話說,CNN 和 RNN 通過冗餘的優點,通過堆疊多個層實現,在計算方面可以更有效地進行事物“表示”。

比如說,一個傳統“全連接”神經網絡的計算時間是所需表示的實體數目的平方。RBM 更好,其計算時間與實體數目呈線性關係。不過,CNN 和 RNN 還要好,其計算時間是實體數目的平方根。

這些特性表明,體積定律糾纏標度的建模方面,深度卷積網絡比傳統神經網絡方法更具顯著優勢。實際上,重疊的卷積網絡可以支持任何尺寸為 100×100 的二維繫統的糾纏,而這種糾纏是傳統方法無法實現的。

傳統的Tensor Network(簡稱TN)不支持信息重複利用,因此研究人員不得不用他們的“trick”。他們開發了修改版的 CNN 和 RNN,即CAC(convolutional arithmetic circuit)和 RAC(recurrent arithmetic circuit)。

連接AI和量子計算,英特爾、Mobileye宣佈最新突破

圖|Amnon Shashua教授團隊開發了新模型——“卷積運算電路”(convolutional arithmetic circuit,簡稱CAC),該模型重複使用傳統CNN模型中的信息,並與物理學中常用的“Tensor Network”模型相結合(來源:Mobileye)

CAC 是他們近年來一直在研發的一種方法。CAC 中的 trick 是指輸入數據自身的重複,高效地複製了重疊 CNN 中的重複使用。而 RAC 則是重複輸入信息。

連接AI和量子計算,英特爾、Mobileye宣佈最新突破

圖|研究人員通過添加數據重複利用,將一個RNN版本修改為“循環運算電路(recurrent arithmetic circuit,簡稱為RAC)”(來源:Mobileye)

他們表示,“重要的是,雖然 RAC 每一層在每一步的輸出矢量被使用了兩次,在網絡計算中仍存在內含的數據重複使用。因此,我們重複輸入,就像重疊卷積網絡中那樣。”

研究人員表示,他們的研究結果有望拉近量子多體物理和最先進的機器學習方法之間的距離。量子計算和深度學習至此要翻開新的一頁。


分享到:


相關文章: