近日，谷歌公司在《Nature》雜誌宣佈實現了“量子霸權”，宣稱200秒的量子計算實現了最強超算1萬年的結果。超級計算機終有一天會取代人類嗎？自動化與人工智能存在風險嗎？人工智能的先驅、“控制論之父”維納在七十年前的預言仍有很強的現實意義。
人工智能是今天的神話，它既可能是未來的開始，也可能成為末世的毀滅。在技術狂飆突進的時代，即使是圈內的從業者也很難獲得一致的意見。被譽為“人工智能之父”的尤爾根·施米德胡貝認為人工智能終有一天會比人類更聰明，而人類也沒有絲毫理由為此感到擔憂。與此同時，特斯拉CEO埃隆·馬斯克卻在多個場合上表示要警惕人工智能。他甚至認為，人工智能的危險遠遠超過核彈頭。
現在我們把時間稍微拉遠一點。在“人工智能”這個概念出現以前，控制論正大行其道。“控制論之父”、諾伯特·維納在1948年發表的名著《控制論》中已經對“機器能不能擁有智能”這一問題給予了正面的回答。維納認為不僅在人類和人類社會中，在其他生物群體乃至無生命的機械世界中，都存在著同樣的信息、通信、控制和反饋機制，智能行為是這套機制的外在表現，因此不僅人類，其他生物甚至是機器也同樣能做出智能行為。維納和他的控制論思想如今也被視為人工智能“行為主義學派”的奠基者。
諾伯特·維納（Norbert Wiener）（1894—1964），美國應用數學家，控制論的創始人。
很多人不知道的是，維納在70年前為人工智能勾畫藍圖時，也提出了自己對機器統治的擔憂和警告。親歷二戰歲月的維納在《人有人的用處》中預言，依賴機器統治可能成為一種“新法西斯威脅”。這種“唱反調“讓維納在馮·諾伊曼、克勞德·香農等同事之間遭到了冷遇，他們更急於把新科技轉化為商業利潤。
維納的預言在如今看來是否仍然有價值？2016年9月，來自人工智能領域內外的幾十位思想家在美國華盛頓展開了一場對話，在此基礎之上結集成一本書《AI的25種可能》。與會者達成的一個共識是，重新審視先驅的思想永遠都有價值，很多人沒有意識到自己正在執行維納的路線圖。維納對於自動化和人工智能有著怎樣的顧慮？他在70年前的預言還有現實意義嗎？
下文由麻省理工學院量子科技專家塞思·勞埃德（Seth Lloyd）撰寫，經授權摘自Edge網站創始人約翰·布羅克曼與多位思想家共同編著的《AI的25種可能》，有刪節。
《AI的25種可能》，約翰·布羅克曼 編著，王佳音 譯，湛廬文化丨浙江人民出版社2019年10月版
維納雖有謬誤
卻比以往更靠譜
諾伯特·維納1950年出版的《人有人的用處》，是他兩年前出版的那本影響深遠的《控制論》的通俗版本。在《人有人的用處》中，維納對在一個機械的運算能力變得愈發強大的世界中，人類與機械之間的相互作用進行了探討。這是一本充滿先見之明的書，同時也充滿了謬誤。這本書寫於冷戰正如火如荼之時，其中的內容讓人膽戰心驚，它讓我們意識到極權主義組織和社會的危害，提醒我們當民主試圖用極權主義的武器對抗極權主義時會對民主極為不利。
維納在《控制論》中，以非常翔實的科學細節描寫了經由反饋實現的控制過程。“控制論”（cybernetics）一詞來源於古希臘語中意為“舵手”的單詞，是現代詞彙“管理者”（governor）的詞源基礎。詹姆斯·瓦特將他那開創性的反饋控制裝置命名為“管理者”，這一裝置改進了蒸汽機的使用方式。因為維納沉溺於研究控制帶來的各種問題，所以他將世界視為一組複雜的、互鎖的反饋迴路，其中傳感器、信號和發動機之類的驅動器通過複雜的信號和信息交換而相互作用。控制論在工程領域的應用影響力極大且非常有效，使我們有了火箭、機器人、自動裝配線，以及一系列精密工程技術，換句話說，它構成了現代工業社會的基礎。
不過，維納對控制論的理念有更大的雄心。在《人有人的用處》中，他認為這一理念可以應用到麥克斯韋妖、人類語言、大腦、昆蟲新陳代謝、法律體系、技術創新對統治的作用，以及宗教之中。控制論的這些廣泛應用，幾乎是徹底的失敗。20世紀40年代末到60年代初，人們對控制論大肆吹捧，在某種程度上就像對計算機和通信技術的過度渲染一樣，而後者導致了2000年至2001年的互聯網泡沫破滅。控制論確實帶來了衛星和電話交換系統，但它對社會結構及整個社會沒有促成什麼有用的發展。
然而近70年後，《人有人的用處》這本書教給我們人類的卻遠比它剛剛出版時要多得多。也許這本書最大的特點就是它引入了大量關於人類與機器相互作用的主題，這些主題至今仍然非常重要。這本基調灰暗的書預測了在20世紀後半葉即將發生的幾種災難，其中許多與今天人們對21世紀後半葉的預測非常相似。
例如，維納預見到在距離1950年不遠的將來，人類會將社會的控制權交給一種控制論的人工智能，這將導致對人類的嚴重破壞。維納預言，生產自動化會帶來產量的大幅增長，但同時也將使大批工人下崗——在接下來的幾十年裡，這些確實發生了。維納警告說，除非社會能合理安置這些失去工作的工人們，否則叛亂將隨之而來。
但是維納沒有預見到技術的重大發展。就像20世紀50年代的許多技術專家一樣，他沒有預見到計算機革命。他以為，計算機的價格會從50年代的幾十萬美元降到幾萬美元。無論是他還是那個時代的其他人，都沒有預料到隨著晶體管和集成電路的發展，計算機的能力會有爆發式的提高。最後，由於維納過度強調控制，他沒有預見一個技術世界的到來，在這個技術世界裡，創新和自組織是從底部一點點發展而來而不是從頂部強加下來的。
維納關注極權主義的罪惡，無論這罪惡是政治的、科學的還是宗教的，所以他以極其悲觀的眼光看待世界。在書中他警告說，如果我們不盡快修好我們的道路，災難就在等著我們。《人有人的用處》這本書出版半個多世紀以後，當前的人類和機器世界遠比維納能預見到的複雜、多樣得多，這樣的世界有著廣泛得多的政治、社會和科學體系。但是如果我們弄錯的話，如果全球的極權主義政權控制整個互聯網的話，今天的災難預警就像1950年的災難預警一樣迫在眉睫。
塞思·勞埃德（Seth Lloyd），麻省理工學院量子科技教授，聖塔菲研究所外聘研究員
維納之英明
維納在最著名的數學著作中，探討的是信號分析和噪聲的影響。第二次世界大戰期間，他構建了一種模型，可以通過推算飛機以前的飛行行為，預測它未來的飛行軌跡，由此他開發了一種防空火力的瞄準技術。在《控制論》和《人有人的用處》兩書中，維納指出，根據飛機以往的飛行行為，甚至包括人類飛行員的怪癖和習慣，一個機械化裝置可以預測人類行為。像艾倫·圖靈（他在圖靈測試中預言計算機對問題做出的回應，將與人類沒有什麼差別）一樣，維納也痴迷於用數學描述來捕捉人類行為。20世紀40年代，他把控制和反饋迴路方面的知識應用到生物系統中的神經肌肉反饋中，還把沃倫·麥卡洛克（Warren McCulloch）和沃爾特·皮茨（Walter Pitts）介紹到麻省理工學院，在那裡，他們兩人在人工神經網絡方面做出了開創性的工作。
維納思想的核心是從信息角度來理解這個世界。複雜系統，如生物體、大腦和人類社會，是由互鎖反饋迴路組成的，其中子系統之間的信號交換導致了複雜但穩定的行為。當反饋迴路發生故障時，系統會變得不穩定。他構建出一幅引人注目的圖景，說明了生物系統的運行機制是多麼複雜。目前，世人已普遍接受了這一圖景。
維納把信息看成掌控複雜系統行為的核心，這一觀點在當時相當令人矚目。現今，當汽車和冰箱中擠滿了微處理器，而人類社會的大部分都圍繞著與互聯網相連的計算機和手機時，強調信息、計算和通信的中心性似乎毫無新意。然而在維納時代，第一臺數字計算機才剛剛誕生，技術專家們還根本不知道互聯網為何物。
維納不僅把工程的複雜系統，還把所有的複雜系統都看成是圍繞信號和計算循環來運作的，這為複雜人工系統的發展做出了巨大貢獻。例如，他和其他人開發的用於控制導彈的方法，後來被應用於建造土星5號月球火箭，這是20世紀最偉大的一項工程成就。特別需要指出的是，維納的控制論理論在大腦和計算機感知領域的應用，是當今基於神經網絡的深度學習和人工智能的前身、雛形。不過，這些領域目前的發展與維納的預見不同，它們的未來發展很可能會影響人類對人類和機器的使用。
維納之謬誤
維納的錯誤就在於他把控制論的理念用到了人類身上。暫時撇開他對語言、法律和人類社會的思考，看看他認為1950年後不久將會產生的一項不起眼卻非常有潛力的創新。維納認為，如果使用假肢的人能夠通過他們自己的神經信號直接與假肢溝通，從肢體接收壓力和位置信息並指導其隨後的運動，假肢將更有效。事實證明，這比維納設想的要困難得多：70年後，合併神經反饋的假肢仍然處於早期階段。維納的理念不錯，只是神經信號與機械電子設備的接口問題很難解決。
更重要的是，維納和幾乎所有生活在那個時代的其他人一樣，極大地低估了數字計算的潛力。正如前面指出的那樣，維納的數學成就在於對信號和噪聲的分析，他的分析方法適用於連續變化的或者說模擬的信號。雖然他參與了戰時數字計算的開發，但他從未預見到半導體電路的引入和逐步小型化所帶來的計算能力的爆炸性發展。我們很難將其歸咎於維納：畢竟當時晶體管還沒有發明出來，他熟悉的數字計算機的真空管技術笨拙、不可靠，而且無法擴展應用到越來越大的設備中。在1948年版《控制論》的附錄中，他預測了會下棋的計算機的問世，還預測到它們能夠算出兩到三步。然而，半個世紀後，一臺計算機在國際象棋比賽中擊敗了世界冠軍，這將會令他大為驚訝。
維納(前排左起第4位)與清華大學電機系師生合影(1936年)
高估技術的發展
與奇點的毀滅性風險
當維納創作《控制論》《人有人的用處》這兩本書時，一件著名的高估了技術的事情即將發生。在20世紀50年代，人們首次嘗試開發人工智能。赫伯特·西蒙（Herbert Simon）、約翰·麥卡錫和馬文·明斯基等研究人員開始設計計算機程序來完成簡單任務，並建造了機器人雛形。這些最初的努力獲得了成功，西蒙備受鼓舞，宣稱：“20年內，機器將有能力完成一個人所能做的任何工作。”結果這一預言大錯特錯。隨著計算機變得更強大，它們變得越來越擅長下棋，因為計算機系統可以生成許多可能的棋步，並估算這些棋步。但人們對人工智能的多數預測，例如機器人女傭，卻是不切實際的。1997年的國際象棋大賽上超級計算機“深藍”擊敗加里·卡斯帕羅夫（Garry Kasparov）時，最強大的清掃房間機器人是一個叫“倫巴”（Roomba）的機器人，它隨意四處移動吸走灰塵，當它被困在沙發下面時會發出吱吱的叫聲。
預測技術進步充滿了不確定性，因為技術進步是一系列的改進過程，困難會阻礙進步，而創新則會克服困難，取得進步。許多困難以及一些創新可以被預見到，但更多的困難及創新則很難預料。我自己和實驗專家合作建造量子計算機時，我常常發現，一些我以為很容易實現的技術步驟，結果卻是不可能完成的；而一些我想象中不可能完成的任務卻變得很容易。你不試試就永遠不會知道。
20世紀50年代，馮·諾伊曼從與維納的談話中受到啟發，引入了“技術奇點”這一概念。技術常以指數式速度不斷提高，每隔一段時間其性能或靈敏度就會增加一倍。例如，自1950年以來，幾乎每隔兩年，計算機性能便會提升一倍，這種現象便是“摩爾定律”。馮·諾伊曼根據觀察到的技術進步的指數率，斷言“技術進步將變得異常迅速、複雜”，在不遠的將來就會超越人類能力。事實上，如果按照現在的速度推斷未來計算機的原始計算能力增長，也就是按比特率和位翻轉計算，計算機應該在未來的20到40年內發展到可與人類大腦匹敵的程度，具體時間取決於如何估算人類大腦的信息處理能力。
人們最初對人工智能過於樂觀的失敗預測，使得在之後的幾十年很少有人討論技術奇點的話題，但是自從雷·庫茲韋爾（Ray Kurzweil）2005年出版《奇點臨近》（The Singularity Is Near）後，技術進步帶來超級智能的想法再次迴歸。包括庫茲韋爾在內的一些人堅信，奇點就是機遇：人類可以將他們的大腦與超級智能融合，從而永生。但還有一些人，如史蒂芬·霍金和埃隆·馬斯克則擔心這種超級智能是邪惡的，擔心它會對人類文明構成最大威脅。不過有一些人，包括本書的一些撰稿人卻認為這樣的說法太過誇張。
維納畢生的事業以及他預測的失敗，都與技術奇點密切相關。他在神經科學方面的研究，以及他對麥卡洛克和皮茨最初的支持，勾勒出當今極其有效的深度學習方法的輪廓。在過去的幾十年裡，尤其是在過去的5年，這種深度學習的技巧最終發展出維納所稱的“格式塔”能力，例如，你知道圓就是圓，即使當它傾斜看起來像一個橢圓時，你仍舊知道它就是一個圓。他對控制論的研究，以及他在神經肌肉反饋方面的研究，對於機器人的發展意義非凡，也啟發了以神經為基礎的人機接口研究。然而，他對技術發展的誤判也表明，我們不應該完全相信技術奇點一說。預測技術進步的常見困難以及發展超級智能時特有的問題都應該讓我們警惕，不要高估信息處理的力量和效能。
如果維納來到今天
會怎樣看我們所處的時代？
維納指出，科技的指數式進步是一個相對現代的現象，並不都是好的。他認為原子武器和帶有核彈頭的導彈是人類殺死自己的最好方法。他把對這顆星球資源的瘋狂開採與《愛麗絲漫遊奇境記》（Alice in Wonderland）中的瘋狂茶會進行對比：我們把廢物丟在身邊的環境中，為了繼續取得進步，只需換一個地方丟棄廢物即可。維納對計算機和神經-機械系統的發展持樂觀態度，但對獨裁政府對這些技術的使用卻很悲觀，一些國家在面臨獨裁主義威脅時也變得越來越獨裁，這也讓他無法樂觀起來。
如果來到今天，維納將有何高見？計算機和互聯網的力量可能會讓他大吃一驚。他參與的早期神經網絡研究現已形成強大的深度學習系統，並展現出他所希冀的感知能力，這可能會讓他很高興。不過，對於計算機化格式塔的一個最突出例子，即機器能在萬維網上認出小貓的照片，他可能並不感興趣。我猜測，維納不會認為機器智能是威脅，而會把它當作一種獨立的現象，這種智能不同於我們人類的智能，而且會與人類智能共同進化。
維納對全球變暖不會感到驚訝，這是我們這個時代的瘋狂茶會。他會對替代能源技術的指數式提高表示讚賞，並將運用自己的控制論專業知識開發一套複雜的反饋迴路，將這些技術整合到即將到來的智能電網中。儘管如此，當他意識到解決氣候變化的問題不僅是技術問題，也是政治問題時，他無疑會對我們能否及時解決這個威脅人類文明的難題持懷疑態度。
我們很容易就會忘記維納所處的時代有多麼可怕。美國和蘇聯展開全面軍備競賽，爭相建造安裝有氫彈的核彈頭，將其裝在洲際彈道導彈上。導彈上有導航系統，令維納難過的是，這個導航系統就有他的功勞。1964年維納去世時，我4歲。那時候我在上幼兒園，班裡的小朋友正在練習猛然躲在課桌下以求在核武器襲擊時得到掩護。想到在他的時代人對技術的用法，如果他能看到我們目前的狀態，他的第一反應將是放心，因為我們還活著。
本文轉自新京報書評週刊 作者：塞思·勞埃德
本文摘編：李永博
- E N D -
你能為我摘一顆星星嗎？
閱讀更多 新京報傳媒研究 的文章
