研究人員在3D打印的烏龜上添加一些顏色，AI 識別結果為來復槍。（ICML 2018）
作者 | Douglas Heaven
翻譯 | JocelynWang
一輛自動駕駛汽車在接近停車標誌的時候，沒有進行減速，反而加速駛入了擁堵的十字路口。隨後一份事故報告表明，該停車標誌表面粘有四個小矩形，這個信息欺騙了車載人工智能（AI），將“停止”一詞誤讀為“限速45”。
雖然該事件並未在現實中發生，但人為擾亂 AI 判斷的潛在可能性是真實存在的。研究人員已經展示瞭如何通過細緻地在停車標誌的某些位置上貼上貼紙以此愚弄人工智能系統，使其對停車標誌產生誤讀[1]。此外，他們還通過在眼鏡或帽子上貼印刷圖案來欺騙人臉識別系統，並且通過在音頻中插入白噪聲模式，讓語音識別系統聽取虛假短語以實現欺騙系統的目的。
擊敗 AI 中被稱為深度神經網絡（DNN）的這一先進的模式識別技術是件多麼容易的事情，而以上僅是此類案例中的一部分。深度神經網絡方法在正確分類包括圖像，語音和消費者偏好數據等在內的各種輸入方面，大獲成功。它們已經成為是日常生活的一部分，正在自動電話系統到流媒體服務網飛（Netflix）的用戶推薦功能上運行著。然而，當以人們難以察覺的微小變化形式更改輸入時，往往可能會混淆其周圍效果最好的神經網絡。
加利福尼亞大學伯克利分校計算機科學專業的博士生 DanHendrycks 說到，這些問題比不完美的技術造成的“莫名其妙”的結果更令人擔憂。像許多科學家一樣，他開始將這些問題看作證明“DNN 從根本上而言是脆性的”的直觀例證：它們即便此前在某一任務上表現得再出色，一旦進入到陌生的領域，就會以無法預料的方式遭遇失敗。
來源：Stop sign: Ref. 1; Penguin: Ref. 5
這將可能會導致嚴重的問題。深度學習系統越來越多地走出實驗室而進入現實世界：從駕駛無人駕駛汽車到犯罪製圖和疾病診斷領域。但今年一項研究報告稱，惡意添加到醫學掃描中的像素可能會使 DNN 誤檢癌症[2]。另一項研究表明，黑客可以利用這些弱點劫持一個基於在線 AI 的系統，使其運行入侵者自己的算法[3]。
在努力找出問題所在的同時，研究人員也發現了招致 DNN 失敗的諸多原因。來自加利福尼亞山景城的谷歌 AI 工程師 FrançoisChollet 認為：“目前尚無解決深度神經網絡根本脆弱性的方法”。他和其他研究者認為，要克服這些缺陷，研究人員需要使用額外的能力來增強模式匹配 DNN ：例如，使 AI 能夠自己探索世界，編寫自己的代碼並保留記憶。一些專家認為，這類系統將構成 AI 研究領域未來十年的新篇章。
現實檢測
2011年，谷歌推出了一種可以識別 YouTube 視頻中貓的系統，不久之後，出現了一系列基於 DNN 的分類系統。任職懷俄明大學拉勒米分校、兼任加利福尼亞州舊金山 Uber AI 實驗室的高級研究經理 JeffClune 感慨道：“所有人都在說，‘哇，這太神奇了，計算機終於可以理解世界了’。”
但是 AI 研究人員知道 DNN 實際上並不瞭解世界。它們實際上是大腦結構的粗糙模型，是由許多數字神經元組成的軟件結構，這些數字神經元分佈在許多層中，每個神經元都在其上方和下方各層的其他神經元相互連接。
它的思路大致如下，首先將原始輸入的特徵放入底層，例如圖像中的像素，這將觸發其中一些神經元，這些神經元隨後根據簡單的數學規則將信號傳遞到上一層神經元。DNN 網絡的訓練過程包括使其接觸大量的示例，並在每次接觸時都調整神經元的連接方式，從而最終能夠在頂層輸出所需的答案——例如它可以始終將圖片中的獅子識別為獅子，即使DNN之前從未見過這張圖片。
2013 年，谷歌研究員 Christian Szegedy 和他的同事發佈了一張名為“神經網絡的有趣特性”[4]的預印本，這是首個重大的現實檢測。該團隊表明了這一事件的可能性：輸入一張 DNN 可識別的圖像，例如獅子的圖像，然後通過改變部分像素可使機器確信自己正在查看另外一個不同的東西，比如一個開發庫。該研究小組稱篡改後的圖像為“對抗樣本”。
一年後，Clune 和他當時的博士生 Anh Nguyen 聯合紐約伊薩卡康奈爾大學的 Jason Yosinski 進行的研究表明，也可能使 DNN看到不存在的東西，例如波紋線形式的企鵝 [5]。深度學習領域的先驅、加拿大蒙特利爾大學的YoshuaBengio表示：“任何跟機器學習打過交道的人都知道這些系統偶爾會犯一些愚蠢的錯誤......然而令人驚訝的是所犯錯誤的類型......其中有一些真是令人震驚，並且是我們難以想象會實際發生的錯誤。”
新出現的錯誤類型越來越多，並且出現的速度越來越快。去年，現就職於阿拉巴馬州奧本大學的 Nguyen表明，僅僅是圖像中正在轉動的目標就足以讓周圍一些表現最佳的圖像分類器失效[6]。Hendrycks 和他的同事在今年的報告中指出，即使是純樸的自然圖像也仍然可以騙過最先進的分類器，使其產生無法預測的失誤，例如將蘑菇識別為椒鹽脆餅或將蜻蜓識別為井蓋[7]。
問題不僅僅存在於目標識別領域：任何使用DNN來分類輸入（例如語音）的 AI 都可以被愚弄。玩遊戲的 AI 也可能會遭到攻擊：2017年，加州大學伯克利分校的計算機科學家桑迪·黃（Sandy Huang）以及她的同事，重點研究了經過強化學習訓練最終打敗了電子遊戲 Atari的 DNN[8]。這種方法給 AI 設定了一個目標，與此同時，通過反覆試驗和糾錯來學習能夠實現目標的內容以響應一系列輸入 。它是AlphaZero和撲克機器人Pluribus等表現超越了人類的遊戲 AI 背後的技術。即便如此，Huang 的團隊仍然可以通過在屏幕上添加一個或兩個隨機像素來使 AI 輸掉遊戲。
今年早些時候，加利福尼亞大學伯克利分校的AI博士生 AdamGleave 和他的同事們證明，有可能將智能體概念引入 AI 環境中，以執行旨在干擾 AI 反應的“對抗策略”[9]。例如，在一個模擬環境中訓練一個 AI 足球運動員來將足球踢過 AI 守門員，一旦守門員發生它無法預料到的行為（例如倒在地上）時，那它就失去了將足球踢進球門得分的能力。
圖注：一名模擬罰球的AI足球運動員在AI守門員制定“對抗策略”跌倒在地（見右圖）時（見右圖）感到困惑。圖片來源：Adam Gleave / Ref.9
知道 DNN 的弱點在哪裡，黑客甚至可以掌控強大的AI。去年就有一個例子，當時谷歌的一個團隊表明，使用對抗樣本不僅可能讓 DNN犯特定的錯誤，而且還可以對其完全重新編程，從而有效地再次利用接受過一項任務訓練的AI 去完成另外一項任務[3]。
原則上，許多神經網絡，例如那些學習理解語言的神經網絡，可以被用於對任何其他計算機程序進行編碼。Clune 對此表示：“從理論上講，您可以將聊天機器人轉成任何所需的程序，這是讓你覺得難以置信的地方。”他設想在不久的將來，黑客可能會劫持雲中的神經網絡來運行其設計的能夠躲過篩掉垃圾郵件的機器人的算法。
對於加州大學伯克利分校的計算機科學家 Dawn Song 而言，DNN就像坐著的鴨子一樣。她說：“攻擊系統的方式有很多，而防守非常非常困難。”
強大的功能伴隨著極大的脆弱性
DNN具有強大的功能，它們的多層結構意味著它們在嘗試對輸入進行分類時可以選擇輸入許多不同特徵中的模式。經訓練用來識別飛機的 AI 能夠發現，諸如色塊、紋理或背景之類的特徵，其實跟我們所認為的非常直觀的東西（如機翼）一樣都是很強的預測器 。但這也意味著即便輸入只發生了很小的變化，AI 都可能將其視為情況明顯不同的東西。
一個解決方案就是給 AI 提供更多數據，特別是在要使 AI 反覆面臨存在問題的示例並糾正其錯誤時。在這種“對抗訓練”形式下，一個網絡學會識別物體，第二個網絡試圖改變第一個網絡的輸入，以使其出錯。這樣的話，對抗樣本便成為DNN訓練數據的一部分。
Hendrycks和他的同事建議通過測試DNN在各種對抗性樣例中的表現，來量化DNN預防出錯的魯棒性，以此來防止其出錯。但是，訓練網絡抵禦一種攻擊可能會削弱它對抗其他攻擊的能力。倫敦谷歌 DeepMind 的 PushmeetKohli 領導的研究人員正在嘗試增強DNN規避錯誤的能力。許多對抗性攻擊通過對輸入的組成部分進行細微調整，例如巧妙地更改圖像中像素的顏色以此來起作用，直到使得DNN進行錯誤分類為止。Kohli的團隊建議，強大的DNN不應因其輸入的微小變化而改變輸出，並且從數學層面來看，這種屬性可能會併入網絡，這樣會限制其學習的方式。
然而，目前還沒有人提出從整體上解決 AI 脆弱性問題的方案。Bengio說，問題的根源在於DNN並沒有很好的模型來識別到底什麼才是重要的內容。當AI將被篡改的獅子圖像看作開發庫時，人們看到的仍然會是獅子，因為他們對於動物的心智模型基於一系列高級特徵，如耳朵，尾巴，鬃毛等，這讓他們能夠得以從底層任意或次要的細節中將這些特徵抽象出來。Bengio表示：“我們從先前的經驗中知道哪些特徵是主要的，而這來自對世界結構的深刻理解。”
解決此問題的一種嘗試是將 DNN 與符號 AI 結合起來，這是人工智能領域在機器學習出現之前所使用的主要範式。藉助符號AI，機器就可以使用關於世界如何運作的硬編碼規則進行推理，比如說這個世界涵蓋了離散目標，而這些離散目標又彼此以各種方式相互關聯。
一些研究人員，例如紐約大學的心理學家 Gary Marcus 認為，混合 AI 模型才是深度學習未來發展的方向。“深度學習在短期內是如此有用，以至於人們對它的長期發展視而不見。”長期以來對當前深度學習方法持批判態度的 Marcus 如是說道。今年 5 月，他在加利福尼亞州帕洛阿爾託與人共同創立了一家名為 Robust AI 的初創公司，旨在將深度學習與基於規則的 AI 技術相結合，以開發可以與人協同安全操作的機器人。公司目前開展的確切工作內容仍處於秘密狀態。
即使可以將規則嵌入到DNN中，它們的表現也仍然只能達到與它們學習的數據一樣好的程度。Bengio說，AI 智能體需要在可進行探索的更加豐富的環境中學習。例如，大多數計算機視覺系統無法識別一罐啤酒是圓柱形的，這是因為它們是在 2D 圖像的數據集上進行訓練的。這就是 Nguyen 及其同事發現“通過從不同角度呈現熟悉的目標來愚弄 DNN ”如此簡單的原因。而讓智能體在真實或模擬的3D環境中學習，會對提高它們的表現有所幫助。
但是，AI 學習的方式也需要改變。Bengio 就曾提出：“ 學習因果關係這件事，應該由能夠在現實世界執行任務以及可進行試驗和探索的智能體來做。”
另一位深度學習的先驅、位於瑞士曼諾市的 DalleMolle 人工智能研究所的 JürgenSchmidhuber 的思路也類似。他指出，模式識別非常強大——強大到足以使阿里巴巴、騰訊、亞馬遜、Facebook和Google等公司成為世界上最有價值的公司。他還說道：“但還將有更大的浪潮到來，那就是將會出現能夠操控這個世界並且能夠通過其自身行為創造它們自己的數據的機器。”
從某種意義上說，使用強化學習擊敗電腦遊戲的 AI 也已經在人工環境中做到了：通過試驗和試錯，它們以允許的方式操縱屏幕上的像素，直到達到目標為止。但是實際環境比當下訓練大多數DNN 所依據的模擬或策展數據集要豐富得多。
即興機器人
在加州大學伯克利分校的一個實驗室裡，一條機械臂在混亂中翻騰。它拿起一個紅色的碗，並用它在右邊幾釐米處輕推一個藍色的烤箱手套。隨後，它放下碗拿起一個空的塑料噴霧瓶。再然後它摸索了一本平裝書的重量和形狀。經過幾天的不間斷篩選，機器人開始對這些陌生物體以及它們可以做什麼有了一定了解。
機器人手臂正在使用深度學習來自學使用工具。給定一系列物體，它會撿起並輪流觀察每個物體，看看當它們四處移動並用一個物體撞擊另一個物體時會發生什麼。
機器人使用深度學習來探索如何使用3D工具。圖片來源：AnnieXie
當研究人員給機器人一個目標（例如，給它展示一個幾乎空的托盤的圖像並指定機器人佈置與該狀態匹配的物體）時，它即興發揮，並且可以處理以前從未見過的物體，例如使用海綿擦拭桌子上的物品。它還發現，使用塑料水瓶清理物體的方法比直接撿起這些物體要快得多。“與其他機器學習技術相比，深度學習能夠實現的通用性持續給我留下深刻的印象，”曾在伯克利實驗室工作的Chelsea Finn 說道，現在他正在加利福尼亞州斯坦福大學繼續進行這項研究。
Finn 還認為，這種學習使 AI對於物體和整個世界有更豐富的理解。如果你僅在照片中看到過水瓶或海綿，則也許可以在其他圖像中認出它們。但是你不會真正理解它們是什麼以及它們應該用來做什麼。她說：“如果沒有真正與這些物體進行互動，你對世界的瞭解要淺得多。”
但是，這種學習是一個緩慢的過程。在模擬環境中，AI 可以以閃電般的速度完成某個示例任務。2017年，DeepMind 旗下自學遊戲軟件的最新版本——AlphaZero 在短短一天內先後被訓練成一個圍棋、國際象棋和將棋（一種日本象棋）的超人類玩家。在那段時間，它已經在每場遊戲比賽接受了超過 2000萬次訓練。
AI 機器人無法快速學習。加利福尼亞州伯克利的 AI 機器人技術公司 Ambidextrous 的聯合創始人 JeffMahler 指出，深度學習所獲得了多數成功很大程度上都依賴於大量的數據。“單個機器人要想收集數千萬個數據點，即便連續執行任務也需要花費數年的時間。” 此外，數據可能會不可靠，因為傳感器的標定會隨著時間而變化，並且硬件可能會退化。
因此，大多數涉及深度學習的機器人工作仍使用模擬環境來加快訓練速度。“機器人究竟能學到什麼依賴於模擬器的性能，”亞特蘭大喬治亞理工學院機器人學博士生DavidKent 說。模擬器的性能一直在提高，與此同時研究人員也越來越擅長讓機器人將在虛擬世界中學到的經驗遷移到現實世界中。但是，這種模擬仍然無法滿足現實世界的複雜性。
Finn 認為，與使用人工數據進行學習相比，使用機器人進行學習最終更容易實現規模化。她的一臺能夠使用工具的機器人花了幾天時間來學習一個相對簡單的任務，但不需要繁瑣的監控。她說：“你只需要運行機器人，然後偶爾檢查一次即可。”她想象著有一天，世界上會出現很多能夠自行完成任務並進行全天候學習的機器人。這應該是可能的——畢竟，這也是人類理解這個世界的方式。Schmidhuber 說：“嬰兒不會通過從 Facebook下載數據來進行學習。”
從更少的數據中學習
嬰兒也可以從僅僅幾個數據點中識別出新的樣本：即使他們以前從未見過長頸鹿，但在看過一次或兩次之後，他們仍能夠認出這就是他們剛剛看過的物體。嬰兒之所以能夠迅速做出反應，部分原因是因為他們看過許多其他生物，即使（看到的）不是長頸鹿，也已經熟悉了它們的主要特徵。
授予 AI 這類能力的一個統稱術語是遷移學習，即將前幾輪訓練中獲得的知識遷移到另一項任務。一種實現的方法是在訓練新任務時，重複使用部分或全部預訓練的網絡作為起點。例如，在識別長頸鹿的學習過程中，重複使用訓練過的部分DNN來識別一種動物，例如識別基本身體形狀的那些層，從而在學習識別長頸鹿時，為新的網絡提供邊緣特徵。
遷移學習的一種極端形式是通過僅使用很少甚至有時候僅為一個的樣本來訓練新網絡。這被稱為“小樣本學習”或”多次學習”，它嚴重依賴於預訓練的DNN。
假設你想要創建一個面部識別系統來識別罪犯數據庫中的人，一種快速的方法是使用已經看到過數百萬張面孔（不一定是數據庫中的面孔）的DNN，以便它對一些顯著特徵，如鼻子和下巴的形狀，有一個很好的瞭解。現在，當網絡僅查看一張新面孔的樣本時，它可以從該圖像中提取有用的特徵集。然後，它可以比較該特徵集與罪犯數據庫中單個圖像特徵集的相似程度，並找到最接近的匹配項。
擁有利用這種經過預訓練的記憶可以幫助 AI 在無需查看很多額外的新模式來識別新樣本，從而加快機器人的學習速度。但是，當此類DNN面臨與其經驗相距太遠的樣本時，仍然可能會無所適從。目前關於這些網絡擁有怎樣的泛化能力，尚未明晰。
即使是最成功的 AI 系統，例如 DeepMind 的AlphaZero，其專業領域也非常狹窄。雖然可以訓練AlphaZero的算法來下圍棋和國際象棋，但兩個訓練是不能同時進行的。需要利用之前在圍棋上的經驗對模型的關聯性和反應能力重新訓練，從而能夠利用此前在圍棋上積累的經驗在國際象棋上取勝。Finn說：“如果你從人的角度來考慮問題，就會覺得這太荒謬了。”人們不會輕易忘記自己所學到的東西。
學習如何學習
AlphaZero 在遊戲中的成功不僅取決於有效的強化學習，還依賴於幫助其學習的算法（使用一種稱為“蒙特卡洛樹搜索”技術的變體），以縮小選擇範圍[10]。 換句話說，就是指導 AI 以最佳方法從其周圍的環境中學習。Chollet 認為，人工智能接下來重要的一步將是使DNN 擁有能夠編寫自己的此類算法的能力，而不是使用人類提供的代碼。
他認為，用推理能力補充基本的模式匹配將讓 AI 更好地處理超出其舒適範圍的輸入。多年來，計算機科學家一直在研究可以使計算機自動生成代碼的綜合程序。Chollet 認為，將該領域與深度學習相結合可能會導致 DNN 系統更接近人類所用的抽象心理模型。
例如，在機器人技術方面，位於加利福尼亞州門洛帕克 Facebook 人工智能研究所的計算機科學家 KristenGrauman 和得克薩斯州奧斯汀的德州大學研究人員都正在教機器人如何最佳地自行探索新環境。例如，這可能涉及到機器人在遇到一個新場景時選擇該往哪個方向看以及選擇用哪種方法來操作這個物體從而更好地理解這個物體的形狀或用途。這一思路是，讓 AI 預測出：哪個新的視角或角度將能給予它更多可以從中學習的有效的新數據。
該領域的研究人員表示，他們在解決深度學習的缺陷方面，正在取得進展，但也承認他們仍在尋求新技術以減輕該過程的艱鉅性。正如 Dawn Song 所說的，深度學習背後沒有太多理論支撐。她說：“一旦失效，便很難找出原因” “整個領域仍然非常依賴經驗來進行指導，你要做的只是去嘗試一下。”
目前，儘管科學家認識到DNN的脆弱性及其對大量數據的依賴性，但是大多數人還是認為該技術將繼續存在。近十年來，人們意識到訓練神經網絡利用龐大的計算資源可以很好地進行模式識別，這仍然是讓人們覺得出乎意料的。然而也正如 Clune 所說的：“沒有人真正知道如何改善它。”。
參考文獻
[1] Eykholt, K. et al. IEEE/CVF Conf. Comp. Vision Pattern Recog. 2018, 1625–1634 (2018)
[2] Finlayson, S. G. et al. Science 363, 1287–1289 (2019)
[3] Elsayed, G.F., Goodfellow, I.&Sohl-Dickstein, J. Preprint at https://arxiv.org/abs/1806.11146 (2018)
[4] Szegedy, C. et al. Preprint at https://arxiv.org/abs/1312.6199v1(2013)
[5] Nguyen, A., Yosinski, J. & Clune, J. IEEE Conf. Comp. Vision Pattern Recog. 2015, 427–436 (2015)
[6] Alcorn, M. A. et al. IEEE Conf. Comp. Vision Pattern Recog. 2019, 4845–4854 (2019)
[7] Hendrycks, D., Zhao, K., Basart, S., Steinhardt, J. & Song, D. Preprint at https://arxiv.org/abs/1907.07174 (2019).
[8] Huang, S., Papernot, N., Goodfellow, I., Duan, Y. &Abbeel, P. Preprint at https://arxiv.org/abs/1702.02284 (2017)
[9] Gleave, A. et al. Preprintat https://arxiv.org/abs/1905.10615(2019)
[10] Silver, D. et al. Science 362, 1140–1144 (2018)
via https://www.nature.com/articles/d41586-019-03013-5
閱讀更多 AI科技評論 的文章
