《人類兼容：人工智能與控制問題》
作者 | Stuart Russell
編譯 | CDA數據分析師
原文 | Full Page Reload
人工智能研究正在朝著人類或超人類智能機器的長期目標邁進。但是，如果它以目前的形式成功，那將很可能給人類帶來災難性的後果。原因是AI的“標準模型”要求機器遵循人類指定的固定目標。我們無法完全正確地指定目標，也無法預測或防止追求錯誤目標的機器在具有超人能力的全球規模上運行時所造成的危害。我們已經看到了諸如社交媒體算法之類的示例，這些示例學會了通過操縱人類的偏好來優化點擊率，從而給民主制度帶來災難性的後果。
尼克·博斯特倫（Nick Bostrom）在2014年出版的《超級情報：道路，危險，策略》 一書中詳細介紹了認真對待這一風險的案例。在大多數人認為英國輕描淡寫的經典例子中，《經濟學人》雜誌對博斯特羅姆的書進行了評論，其結尾是：“將第二種智能物種引入地球的意義深遠，值得深思。”出於超級智能實體已經考慮過這種可能性 並採取措施阻止這種可能性的簡單原因，無法關閉機器 。
當然，在這麼多的事情發生的今天，當今的偉大思想家已經在做這個艱難的思考-進行認真的辯論，權衡風險和收益，尋求解決方案，找出解決方案中的漏洞，等等。據我所知，還沒有。取而代之的是，人們付出了很大的努力進行各種形式的否認。
一些著名的AI研究人員訴諸了幾乎不值得反駁的論點。以下是我在文章中閱讀或在會議上聽過的數十篇文章中的一部分：
- 電子計算器在算術上是超人的。計算器並沒有接管整個世界。因此，沒有理由擔心超人AI。
- 從歷史上看，有零例機器殺死了數百萬人，因此，通過歸納法，它不可能在未來發生。
- 宇宙中沒有任何物理量是無限的，其中包括智力，因此對超智能的擔憂被誇大了。
也許在AI研究人員中，最常見的回答是說“我們總是可以將其關閉。” Alan Turing自己提出了這種可能性，儘管他對此並不抱太大信心：
如果機器可以思考，它可能會比我們更聰明地思考，那麼我們應該在哪裡呢？即使我們可以例如通過在關鍵時刻關閉電源來將機器保持在從動的位置，作為一個物種，我們也應該感到非常謙卑。……這種新的危險……當然可以使我們焦慮。
出於超級智能實體已經考慮過這種可能性並採取措施阻止這種可能性的簡單原因，無法關閉機器。這樣做不是因為它“想活著”，而是因為它正在追求我們給它的任何目標，並且知道關閉它會失敗。我們僅通過將石頭放在正確的方塊上就可以擊敗AlphaGo（世界冠軍的Go播放程序），這是再也不能“關閉”了。
其他拒絕形式也吸引了更復雜的想法，例如，智力是多方面的。例如，一個人可能比另一個人具有更多的空間智能，而社會智能卻較少，因此我們不能按照嚴格的智力順序排列所有人。對於機器來說更是如此：將AlphaGo的“智能”與Google搜索引擎的“智能”進行比較是毫無意義的。
《連線》雜誌的創始編輯，技術敏銳的評論員凱文·凱利將這一論點再進一步了。他在“ 超人AI的神話”一書中寫道：“智能不是一個單一的維度，因此“比人類聰明”是毫無意義的概念。”一口氣就消除了對超智能的所有關注。
現在，一個明顯的反應是，機器在智能的所有相關方面都可能超出人類的能力。在那種情況下，即使按照凱利的嚴格標準，這臺機器也比人類更智能。但是，這種強有力的假設並不一定要反駁凱利的論點。可以看一看黑猩猩。黑猩猩可能具有比人類更好的短期記憶能力，即使在以人為導向的任務（如回想數字序列）上也是如此。短期記憶是智力的重要方面。按照凱利的說法，人類並不比黑猩猩聰明。實際上，他會宣稱“比黑猩猩更聰明”是沒有意義的概念。這對黑猩猩和其他倖存下來的物種來說是冷的安慰，它們只是因為我們願意允許這樣做，而對於所有我們已經消滅的物種而言。對於可能擔心被機器擦掉的人來說，這也是一種冰冷的安慰。
也可以通過爭論無法實現超級智能來消除超級智能的風險。這些說法並不新鮮，但是現在令人驚訝的是，看到AI研究人員自己聲稱這種AI是不可能的。例如，來自AI100組織的一份主要報告“ 2030年的人工智能與生命 [PDF]”包括以下主張：“與電影不同，沒有超人機器人在眼前出現種族競賽，甚至可能沒有。”
據我所知，這是嚴肅的AI研究人員首次公開信奉人類或超人AI是不可能的觀點，而這是在AI研究飛速發展的階段，當障礙不斷違反。好像一群領先的癌症生物學家宣佈他們一直在欺騙我們：他們一直都知道永遠不會治癒癌症。
是什麼原因促成這樣的面孔？該報告不提供任何論據或證據。（實際上，有什麼證據可以證明，在物理上沒有可能存在的原子排列優於人類的大腦？）我懷疑主要原因是部族主義-本能使貨車繞過AI的“攻擊”。然而，將超級智能AI可能作為對AI的攻擊這一說法似乎很奇怪，甚至說AI永遠不會成功實現其目標，捍衛AI則顯得更為奇怪。我們不能僅僅依靠人類的創造力來確保未來的災難。
如果不是不是絕對不可能的超人AI，那麼擔心就太遙遠了嗎？這是吳安德（Andrew Ng）斷言的要旨，即擔心“火星上的人口過多 ”。不幸的是，長期風險仍然可能立即引起人們的關注。擔心人類潛在的嚴重問題的合適時間不僅取決於問題何時發生，還取決於準備和實施解決方案需要多長時間。例如，如果我們要在2069年檢測到正在與地球碰撞的大型小行星，我們是否要等到2068年才開始研究解決方案？離得很遠！將有一個全球緊急項目來開發應對威脅的方法，因為我們無法提前說出需要多少時間。
Ng的論點也吸引了人們的直覺，即我們極不可能首先嚐試將數十億人類移居火星。但是，這個比喻是錯誤的。我們已經在投入大量的科學和技術資源來創建功能更強大的AI系統，而很少考慮如果成功了會發生什麼。因此，更恰當的類比是將人類遷移到火星的計劃，而不考慮到達後我們可能會呼吸，喝水或吃些什麼。有些人可能將此計劃稱為不明智的。
避免潛在問題的另一種方法是斷言對風險的擔憂是由無知引起的。例如，以下是艾倫（Allen）AI學院的首席執行官Oren Etzioni，指責埃隆·馬斯克（Elon Musk）和斯蒂芬·霍金（Stephen Hawking）涉嫌Luddism，因為他們呼籲人們認識到AI可能構成的威脅：
在每一項技術創新的興起中，人們都感到恐懼。從織布工在工業時代開始時在機械織機中扔鞋到今天對殺手機器人的恐懼，我們的反應是不知道新技術將對我們的自我意識和生計產生什麼影響。而當我們不知道時，我們恐懼的思想充斥著細節。
即使我們以表面價值來接受這種經典的ad hominem論點，也無法成立。霍金對科學推理並不陌生，馬斯克監督並投資了許多人工智能研究項目。認為比爾·蓋茨，IJ·古德，馬文·明斯基，艾倫·圖靈和諾伯特·維納，都引起了人們的關注，沒有資格討論人工智能，這似乎更沒有道理。對Luddism的指控也完全是錯誤的。當他們指出控制裂變反應的必要性時，就好像是要指責核工程師。該指控的另一種說法是聲稱提及風險意味著否認人工智能的潛在利益。例如，Oren Etzioni曾提出：
厄運和悲觀的預測通常無法考慮AI在預防醫療錯誤，減少交通事故等方面的潛在優勢。
而這裡是馬克·扎克伯格的Facebook的CEO，在與伊隆·馬斯克最近的媒體推波助瀾交流：
如果您在反對AI，那麼您在爭論不會發生事故的更安全的汽車。而且您正在爭論不能在人們生病時更好地對其進行診斷。
有人提到風險是“反對AI”的說法似乎很奇怪。（核安全工程師“反對電力”嗎？）但更重要的是，整個論點恰恰是倒退的，原因有兩個。首先，如果沒有潛在的利益，就不會有推動人工智能研究的動力，也不會有實現人類水平的人工智能的危險。我們根本不會進行任何討論。其次，如果不能成功地減輕風險，將沒有任何好處。
由於1979年三英里島，1986年切爾諾貝利和2011年福島島的災難性事件，核電的潛在利益已大大降低。這些災難嚴重限制了核工業的發展。意大利在1990年放棄了核電，比利時，德國，西班牙和瑞士已經宣佈了這樣做的計劃。從1991年到2010年，每年的淨新增產能大約是切爾諾貝利之前的那一年的十分之一。
奇怪的是，鑑於這些事件，著名的認知科學家史蒂芬·平克（Steven Pinker）認為 [PDF]不宜引起人們對AI風險的關注，因為“先進社會的安全文化”將確保AI的所有嚴重風險都將被淘汰。即使我們無視我們先進的安全文化導致切爾諾貝利，福島和全球變暖失控的事實，平克的論點也完全沒有意義。安全文化（在可行時）正好由人們指出可能的故障模式並尋找預防方法來組成。對於AI，標準模型是故障模式。
Pinker還指出，有問題的AI行為是由提出特定類型的目標引起的。如果排除這些，一切都會好起來的：
AI反烏托邦將狹par的阿爾法男性心理投射到智力的概念上。他們認為超人類智能機器人會制定出一些目標，例如拋棄主人或接管世界。
深度學習的先驅，Facebook的AI研究總監Yann LeCun 在淡化AI的風險時經常引用相同的想法：
認可機構沒有理由具有自我保護的本能，嫉妒等。……除非我們將這些情感融入其中，否則認可機構將不會具有這些破壞性的“情感”。
不幸的是，無論我們建立在“情感”還是“慾望”中，例如自我保護，資源獲取，知識發現，或者在極端情況下佔領世界，都沒有關係。無論如何，機器都會產生這些情感，就像我們建立的任何目標的子目標一樣，而不論其性別如何。正如我們在“只需要關閉電源”的說法中所看到的那樣，對於一臺機器而言，死亡本身並不壞。儘管如此，還是要避免死亡，因為如果你死了，就很難實現目標。
“避免設定目標”概念的一個常見變體是這樣一個概念，即一個足夠智能的系統由於其智能必定會自行制定“正確的”目標。18世紀的哲學家戴維·休David（David Hume）在《人性論》中駁斥了這一思想。尼克·博斯特羅姆，在超級智能，提出了休謨的作為位置的正交性論文：
智力和最終目標是正交的：原則上，任何水平的智力或多或少都可以與任何最終目標結合。
例如，可以為自動駕駛汽車指定任何特定地址作為目的地；例如，使汽車成為更好的駕駛者並不意味著它將自發地開始拒絕去被17整除的地址。出於同樣的原因，不難想象可以為通用智能系統提供或多或少的追求目標，包括最大化回形針的數量或pi的已知數字的數量。這就是強化學習系統和其他種類的獎勵優化器的工作方式：算法完全通用，可以接受任何獎勵信號。對於在標準模型內運行的工程師和計算機科學家而言，正交性理論只是一個定論。
對Bostrom正交性論的最明確的批評來自著名的機器人學家Rodney Brooks，他斷言，程序“足夠聰明以至於無法發明出顛覆人類社會以實現人類為其設定的目標的方法，卻不瞭解它對那些相同的人造成問題的方式。”那些認為風險可以忽略不計的人未能解釋為什麼超智能AI必然會受到人類控制。
不幸的是，程序不僅可能表現出這樣的行為；實際上，考慮到布魯克斯定義問題的方式，這是不可避免的。Brooks認為，機器“達到人類設定的目標”的最佳計劃正在給人類帶來麻煩。由此可見，這些問題反映了對人類有價值的事物，而人類為之設定的目標卻忽略了這些問題。機器執行的最佳計劃很可能會給人類帶來麻煩，並且機器可能會意識到這一點。但是，按照定義，機器不會將這些問題視為有問題的。它們與它無關。
總而言之，“懷疑論者”（那些認為來自AI的風險可以忽略不計的人）未能解釋為什麼超級智能AI系統必定會受到人類控制。他們甚至都沒有試圖解釋為什麼永遠不會開發超智能AI系統。
AI社區必須繼續承擔風險並努力減輕風險，而不是繼續淪落為部落的名字召喚和不法論據的反覆發掘。就我們所瞭解的風險而言，這些風險既非微不足道，也非不可克服。第一步是認識到必須替換標準模型（優化固定目標的AI系統）。這簡直是糟糕的工程。我們需要做大量的工作來重塑和重建AI的基礎。
關於作者
計算機科學家Stuart Russell在加利福尼亞大學伯克利分校創立並指導了人類兼容人工智能中心。本月，Viking Press將出版Russell的新書《人類兼容：人工智能與控制問題》，本文以此為依據。他還積極參與反對自動武器的運動，並策動製作了備受矚目的2017年視頻《屠殺機器人》。
掃碼進入CDA官方小程序，解鎖更多新鮮資訊和優質內容，還有免費試聽課程，不要錯過喲！
閱讀更多 CDA數據分析師 的文章
