在新技術驅動的當代，人工智能、機器學習等技術已經成為各國軍隊著力追求的“戰爭奇點”，各種基於算法運行的軍用無人機、機器人、作戰平臺紛紛湧現，不斷塑造著現代戰爭的新格局。但是人工智能裝備突然失靈了，會出現什麼後果？
新美國安全中心高級研究員保羅·沙雷在《外交政策》雜誌（2018年秋季號）撰文，以股票市場出現的“閃崩”現象做對比，論述了人工智能裝備“閃崩”的可能性，及其帶來的重大危害。現由學術plus編譯全文，僅供參考。文章版權歸原作者所有，觀點不代表本機構立場。
人工智能“閃崩”，戰場將會怎樣？
來源：https://foreignpolicy.com
2500年前，中國軍事家孫子有言：“兵貴神速。”當前，世界各國大力發展自主運行的無人機、導彈和網絡武器，謀求以更快的速度應對戰場上瞬息萬變的局勢，正是孫子這一論斷的新發展。在當前智能機器的反應速度遠勝人類的背景下，中國軍事專家預測：“戰爭奇點”即將到來，人類的決策水平已經越來越跟不上戰爭的節奏。
人類放棄對戰爭進程的控制影響極其深遠。讓機器主宰戰場優勢顯而易見，可是一旦出現意外導致衝突失控，那後果將是災難性的。類似的風險就出現在股票市場。那些依託計算機算法做出的投資決策在幾微秒內能創造數百萬美元的利潤差異，既可以讓經紀人賺得體滿缽滿，也能讓市場閃電崩盤。為此，監管機構通過“熔斷機制”，停止價格波動過快的股票交易，達到化解風險的目的。與之相比，戰場缺乏容錯機制，一旦戰爭因意外而閃崩，將會製造一場徹頭徹尾的災難。
在某些軍事領域，人類已經將控制權賦予了機器。以色列、俄羅斯、美國等至少30個國家使用人類監督的自主化武器保衛軍事基地、車輛和艦艇。例如，艦載宙斯盾系統可以在無人操作的情況下，自動探測來襲的火箭和導彈，自主化解敵人實施的“飽和攻擊”，人類操作員只負責對武器進行監督，在必要時進行干預。未來的自主化武器系統很可能將不再有人類操作員進行監督。例如，美國、俄羅斯、中國等國家正在研發滲透進敵方空域的隱形戰鬥無人機。一旦深入敵後，這些無人機的通信就可能被幹擾，為此，各國設計的無人機都要具備自主運行功能。
大多數國家沒有透露其無人機在此情況下將如何運行，也沒有說明要遵照何種交戰規則。各國都會對無人機發動的攻擊進行授權，這樣做將有效摧毀預先批准的固定目標。如果要打擊新發現的目標，那無人機必須彙報相關情況並獲得批准。
這種方法在理論上可行。但“兵無常勢，水無常形”，能夠對動態環境做出快速反應才是戰鬥成功的關鍵，空中、地面和網絡空間的戰鬥皆是如此。基於此，空軍戰略學家約翰·博依德提出了OODA循環模型，即觀察—定位—決策—行動。在該模型下，飛行員能夠贏得空戰勝利不僅僅是因為他們擁有最好的硬件設備，而是因為他們比對手能更快地評估情況並做出反應。由於機器比人類反應速度快的多，在面對機動性較強的防空系統、導彈發射器等高優先級目標時，軍事規劃者越來越傾向於將打擊決策權委託給機器，以在短時間內實現決策優勢。這也正如美國參謀長聯席會議副主席保羅·塞爾瓦將軍在參議院軍事委員所言：“人工智能提高了指揮控制的速度和準確性，在太空和網絡空間等複雜戰場中，現代機器人技術提高了機—機互動的速度。這一切必然會讓見證者歎為觀止。”
速度也絕非只帶來好事。如果一支部隊對敵人的反應過於迅速而指揮官都不瞭解戰場上的狀況，那指揮控制就會出大問題。這是軍隊將領數千年來都一直要解決的。
為此，軍方往往用“指揮官意圖”這一概念來解決上級命令和戰場實際之間的矛盾：指揮官向下級發出簡潔且具有目標導向的指令，說明任務的預期目標，從而確保下級既能堅持總體計劃，又能靈活的適應戰場狀況，以創新的方式克服障礙。
問題是自主化系統——至少是當前的系統——只擅長在可預測的環境下處理日常任務，一旦出現新情況就有可能無法正常運轉。這也是為什麼與無人機相比，研發在動態環境中運行的無人駕駛汽車難度更大。
機器學習側重於用一套規則處理數據並在無需指令的情況下按照數據行動，其雖然靈活性更強，但卻受制於信息的質量。如果現實世界與其訓練模型不同，機器學習就會失敗，而在軍事對抗中我方無法輕易獲得敵人的戰術和硬件狀況服務機器學習。人類智能在機器智能尚未成熟的方面具有強大的適應性。因此，最好的軍隊會將人類智慧與機器智慧成功結合，發展為聯合認知系統，防務專家將之稱為 “半人馬作戰模式”。
儘管人類在決策方面擁有優勢，但對決策速度的追求會將人類慢慢擠出OODA循環模型。軍方不會有意列裝其無法掌控的武器，但戰爭的危險會要求用競爭達成平衡。因此，要麼落後於敵人，要麼列裝先進但未經充分測試的武器，軍方在二者取其一的抉擇中必然會選擇後者，以竭盡所能與敵人形成均勢。
如上所述，自動化股票交易提供了一個觀察動態風險的窗口。2010年，道·瓊斯工業指數在短短几分鐘內蒸發了近10％的市值，引發市場價格突變的部分原因就在於自動交易，其後來被稱為“閃崩”。在過去十年中，金融市場定期都會遭遇此類或小規模的崩盤。雖然監管機構以“熔斷機制”來終止股票交易不能防止意外出現，但卻可以避免閃崩引發局勢失控。
在股票市場的競爭環境中，算法很自然會出現意外情況。2010年道·瓊斯股指閃崩的原因仍存在爭論，但有一種可能是股票的自動賣出算法恰巧撞上了高頻交易算法引發的劇烈市場波動。2012年，高頻交易公司騎士資本集團差點因算法出現的意外而破產。當時軟件升級中出現的一個小故障導致騎士資本集團的計算機閃電般執行了一系列錯誤的交易。當控制住“脫韁”的算法之時，騎士資本集團已經執行了400萬筆交易，淨損失4.6億美元，超過公司資產總值。1994年，流氓交易員尼克·利森用了2年時間搞垮了巴林銀行，而華爾街一臺機器只用了45分鐘就達到了同樣的效果。
為防止軍事領域發生類似的危機，各國必須在速度優勢與意外風險之間尋求平衡。然而，日益激烈的競爭提升了達成此類平衡的難度。2016年，時任國防部副部長的羅伯特·沃克曾有聲有色的對此問題進行總結：
如果我們的競爭對手變成了‘終結者’，而‘終結者’能夠更快地做決策，那我們該如何應對呢？
美國海軍前部長理查德·丹澤認為，官僚機構低估了所用武器出現意外事故的風險概率。股票交易系統故障最多導致公司破產，但不會造成人員傷亡，而“脫韁”的自主化武器可就危險得多。
2003年伊拉克戰爭期間，美陸軍“愛國者”防空系統操作員將雷達置於非標準狀態，使雷達因電磁間的相互干擾而生成了一條“幽靈軌跡”——雷達憑空顯示出一條導彈來襲的信號。處於自動模式下的防空系統隨即開火進行攔截，而1架海軍F-18戰鬥機恰好在錯誤的時間出現在錯誤的地方，釀成誤傷悲劇。
伊拉克戰爭初期，盟軍派出飛機4.1萬架次，部署了60多個“愛國者”導彈系統，大大提高了誤傷這種低概率事件發生的可能。如果是換成人類無法操控的自主化武器系統出現意外故障，不但會導致大規模的自相殘殺、平民傷亡，甚至會出現對敵人的無計劃攻擊，造成更為嚴重的後果。
過去幾個世紀，禁止或管制某類武器的使用取得了一定成果。例如，禁止使用生化武器、激光致盲武器、地雷、集束炸彈，禁止將環境作為武器，不得在太空部署武器等。但更多的軍控努力卻並不成果，如禁止空襲城市、規範潛艇戰、消除核武器等。聯合國於2014年開始舉行一系列會議，討論自主化武器的危險，但其進展遠落後於技術的發展。
幸運的是，越來越多的聲音開始呼籲禁止使用自主化武器。自2013年以來，已有來自32個國家的76個非政府組織參加了“停用機器人殺手全球運動”。迄今為止，已有近4000名人工智能和機器人研究者簽署了禁止使用自主化武器公開信。超過25個國家政府對此表示支持，但沒有一個軍事強國參與其中。即使所有國家都同意限制發展自主化武器，但對其他國家的不信任和武器核查的困難也會引發新的軍備競賽。制定一條寬鬆的法規可能更為現實且會減少部分風險，例如禁止使用針對人員的自主化武器，制定自主化武器的交戰規則等，但這也意味著各國可以肆無忌憚的發展多種型號的自主化武器，從而造成更廣泛的破壞。
人類站在新時代的戰爭門檻上。在這個時代，機器將以超出人類理解能力的速度做出生死決定。這樣一個世界的風險真實存在且影響廣泛。自主化武器可能會瞬間意外的導致災難性死亡和破壞。對完全自主化武器的狂熱追求很可能將使人類放棄對戰場的控制權，但如何使用這些技術的決定權卻依然握在人類自己手中。
（全文完）
《中國電子科學研究院學報》歡迎各位專家、學者賜稿！投稿鏈接
http://kjpl.cbpt.cnki.net
學報電話：010-68893411
學報郵箱：[email protected]
閱讀更多 信息與電子前沿 的文章
