撒旦多米諾

正好寫稿沒思路，看了不少回答，很多都在說AI的進化速度以及發生在未來的“可怕”，我來回顧一個發生過的可怕的事情吧。

人工智能的終極用途是啥？你不要不承認，它最有價值的地方，就是減少很多事情對人力資源的依賴，而最直觀發生這種改變的地方，應該就是戰爭這種一直都有大量人類參與的事情了。

美國軍方對於這類革新一直都很有興趣的，於是有這麼一個供應商，從2000年開始就源源不斷的為軍方供應機器人 產品。這家公司叫福斯特·米勒公司，他們的主力產品叫“魔爪”，是世界上第一種戰鬥機器人。其實這個稱呼有點誇張了，論戰鬥魔爪一直不怎麼在行，因為早期它是這個樣子的：

前面那個長長的東西是探雷器，這貨早期主要的用途是打掃戰場，做做偵查、搬運東西、掃雷之類的工作，有時候也負責打開危險物品什麼的。

這貨並不是終結者那種完全的人工智能，而是遙控與人工智能結合，人工智能對機械部分的控制只有一部分自主權。至於遙控終端，各位應該很熟悉，估計不少人家裡都有：

事情發展走向基本脫離不開美國大片的套路，這麼好的東西放在軍隊裡，怎麼可以只做這些無聊的事情呢？於是2006年這貨的武裝版誕生了，還給改了個名字叫“利劍”，就是把上面的機械手改成了機槍。

接下來也是按照大片的套路發展的。類似的電影有很多，比如《機械公敵》或者《絕密飛行》，總之就是有了思維的東西肯定會突然不聽話。只是在現實中比電影裡更快，魔爪剛升級成利劍就出事故了。

2007年福斯特·米勒公司拿著三臺這貨在給軍方演示的時候，啟動後的它槍口掉轉過來對著操作人員，同時遙控也出現了故障，發出的取消指令對它無效。正常情況下以它的火力基本上是要死幾個人收場的，團滅也不是不可能，只是不確定它什麼時候會開槍。好在危險發生之前，現場的美國大兵用火箭筒把它炸翻，總算是讓在場所有人都安全了。

機械公敵表示老子沒有武器都能造反給你們看……

當時有媒體報道這起事故時候說，這結果導致軍方要花很長時間評估軍用機器人的安全性，恐怕軍用機器人在未來二三十年都沒有市場了。

不過結果沒這麼嚴重，事後福斯特·米勒公司說是軟件沒升級造成的，問題BUG已經修復。當年就接了訂單，後來順順利利的賣給美國軍方几千個，但這是魔爪和利劍總共的數量，單獨的利劍有多少就不知道了。因為據說事故還是弄得大家心裡都有陰影，還是願意用魔爪來稱呼他。

以上表述有演義的成分，但大致情況差不多，領會精神就好。

最後，要是有一天機器人真的突然調轉槍頭……

數碼評價

AI做過可怕的事情在美國問答網站Quora上有這麼簡單的表述，簡單來說就是，AI會吃人，並且有了自己的意識。

當然我們科幻電影看到的殺死人類、擁有智能、機器戰士等多個方面。

1、AI吃掉同類

企業家Mike Sellers是這麼來描述的：

十幾年前，我為DARPA做一些AI方面的研究。當時我們在探索如何讓智能體（Agent）學會社交互動。在其中一個模擬中創建了兩個智能體命名為：亞當和夏娃。它們知道怎麼進食，但不知道該吃什麼。系統給了一顆蘋果樹，它們發現吃蘋果很開心。它們還嘗試過吃樹、吃房子等等，不過吃這些都沒用。系統裡還有設置一個智能體，名叫斯坦，它不是很擅長社交，所以經常獨處。

有一次，亞當和夏娃正在吃蘋果，但一個bug出現了：它倆沒吃飽，但是蘋果沒了。這時斯坦正在附近閒逛，所以亞當和夏娃就把飢餓感與斯坦聯繫在一起。不久之後，當蘋果再次吃完的時候，斯坦被當成了食物，亞當和夏娃都咬了斯坦一口。默認情況下，每個智能體的質量是1.0，每咬一口就減少0.5，所以兩口下去，斯坦就變成了0.0。斯坦消失了。可能它是虛擬同類相殘的第一個受害者。

2、擁有自我意識的無人機

諾斯洛普·格魯門公司曾經創造了一個很棒的無人機，代號X-47B（也就是Salty Dog 502），這架無人機是一架AI無人機。X-47B成為歷史上第一架成功在航母上著陸的無人機。

在兩次成功的起降之後，Salty Dog 502加滿了油然後繼續測試，準備進行第三次著陸，但是意外出現了，無人機沒有在艦上著陸，而是選擇降落在附近的Wallops島空軍基地。在AI看來，這個地點降落可能是更安全的選擇。也就是說，這個AI認為自己的決定比人類的指令優先級更高。這一事件之後，美國海軍決定停止資助X-47B的研發。

所以，AI是多麼的可怕，你覺得AI最可怕的是做什麼？

毛琳Michael

有沒有人想過，如果AI閱讀了人類有史以來的所有圖書，會不會“計算”出一個最優的“政治制度”？

（圖片說明：美國國會圖書館，世界最大館藏量的圖書館）

這雖然不算是“做過”（完成時）的最可怕的事，但很有可能是“正在做”的最可怕的事哦。

第一步，是把人類留存的海量資料信息化。以前主要以圖書資料為主，現在更多的是音視頻資料。這個實際上在很早之前就在做了，最早的時候是打字員一個字一個字敲進去，後來有了掃描儀，就方便多了，一掃，再一OCR，就可以存儲起來了。現在反正美國、中國、歐盟、日本都在做圖書館的數字化工程，博物館的數字化工程也開始做了。嗯，這樣一來，整個人類文明史的資料正在逐步數字化了，隨著以後純數字化記錄和雲儲存的普及，圖書、音視頻等一開始就數字化並自動儲存了，連數字化的步驟都可以省掉了。這一步並不一定需要100%完成才行，有30%，甚至10%的數據量就足夠了。更多的數據無非是讓模型更加精確而已。

第二步，是把這些“人類”的自然語言轉化成“計算機”能理解的語言。目前微軟的Cortana，蘋果的Siri，谷歌的Google Assistant都已經做得不錯了，甚至連“嗯哼”這種語氣詞都會毫無違和的使用了。等到人類同傳下崗，AI完全做到即時翻譯的時候，那些儲存著的古今中外的文獻資料就都能識別出其中的“含義”了。這一步現在的完成度也很高了，至少拿個手機在外國旅遊的時候問個路點個餐已經能解決了。

第三步，就是最核心的一步了，進行人類社會結構的計算推演。這個活聽上去很複雜，其實幹的事和AlphaGoZero差不多的事，只不過AlphaGoZero做的是黑白棋子的推演，而這裡做的事是人類社會的推演，把歷史上人類興衰成敗的歷史（戰爭史、文明史、科技史、藝術史……）作為棋譜參考輸入進去，然後用強大的算力（直接偷用區塊鏈礦機的算力就行，全世界礦機10%的算力有已經是很強大的算力了）推演人類從原始社會至今的不同發展分支，評估費效比（社會關係的總成本VS社會的總生產力），計算出最適合某一生產力階段的生產關係形式……馬克思只怕都要笑醒啊。。。

（圖片說明：自下而上：生產力、生產關係、上層建築）

最後一步，就是如何實現的問題。到底是AI給出建議，人類來實行呢？還是假如人類抱著黨派小團體自私的原則拒絕實行，AI來強行接管呢？注意，強行接管並不一定需要違反機器人三原則，更何況其算了半天的更本目的是“為全人類服務”（這話感覺怎麼這麼耳熟），因此完全可以在不違反機器人三原則的前提下接管政府。舉個不恰當的例子，AI先讓所有的電子政務系統癱瘓，民眾辦不了事肯定要鬧騰，然後再用社交網絡的殭屍ID或者乾脆直接接管真實用戶ID大量發表吐槽文和煽動文，執政黨分分鐘下臺。然後通過後臺操控，可以選擇“最能貫徹執行AI指定模式”的政黨上臺，制訂修改法律法規，改組政府……或者乾脆直接推初音未來這種虛擬人物上臺都行。

今天看你笑嘻嘻，明天讓你……

肖震宇的科學小屋

人工智能被大家熟知，應該是從圍棋大戰開始！從李世石、到柯潔，兩大世界頂尖旗手都敗給阿爾法狗！而最近谷歌旗下的 DeepMind 團隊公佈了進化後的最強版 AlphaGo，代號為 AlphaGo Zero。

相信大家都記得 AlphaGo 當時打敗了李世石，那一版 AlphaGo 選用了 3000 萬盤比賽作為訓練數據。

純自學還能不斷自我完善

而作為全新升級的最強版，AlphaGo Zero 並沒有像上代一樣學習人類的圍棋只是，只計算了 490 萬盤比賽數據和自我對弈，僅用 3 天就走完了人類上千年的圍棋歷史，完全是從零開始純自學，並且每一次都在進行調整、升級和自我完善（對手強不可怕，可怕的它還在變強...人類是不是顯得有點多餘了...）

PK 舊版 100 連勝

而最新版 AlphaGo Zero 也在與打敗李世石的 AlphaGo 對陣中，取得了 100 連勝！

100 連勝，什麼概念...就好比是一個 985 的大學生去參加小學考試，失誤？不存在的。

誕生的 3 小時後，AlphaGo Zero 已經知道怎麼下圍棋了。

誕生 36 小時後，AlphaGo Zero 打敗了它的“二哥”AlphaGo Lee——以 100:0 的碾壓戰績。

誕生的第 21 天，AlphaGo Zero 就打敗了 60 連勝的 Master，Master 後來戰勝了國際圍棋第一人柯潔。

誕生的第 40 天，AlphaGo Zero 對戰 Master 的勝率達到 90%，成為最強的人工智能。

當人工智能的發展速度大規模超越人腦的時候，仔細想想還是挺可怕的...

回顧谷歌，還花了 30 億，造了個毀滅者！

話說，谷歌可不只是造出了個會下棋的AlphaGo，他還花了30億，造了個“毀滅者”~

年初的時候，谷歌發佈了一個秒天秒地秒空氣的機器人，據說再發展一下甚至都有可能毀滅世界！

這貨可以在雪地穩步行走

自己開門也沒問題

它搬箱子的能力也很強，10磅（4.5kg）的東西也能搬得動

被狠狠的推一下以後，還能保持很好的平衡

而且還能自動追蹤箱子的位置

被粗暴對待以後，還可以自己爬起來……

基本上已經具備了自己去幹一些事的能力

這貨就是被谷歌花30億美元收購的公司 ——波士頓動力（Boston Dynamics）出品的 Atlas。其實 Atlas 的原型機，就已經非常厲害了，崎嶇的地形上走完全沒問題

俯臥撐也能做

只不過當時需要連著長長的線

而現在已經掙脫束縛了

其實它們在五年前還做出了其他一些機器人，可以健步如飛的“小野貓”機器人，最多可以達到時速 25km

然後波士頓動力這群傢伙，還喜歡“虐狗”

波士頓動力的科學家，為了研究兩足式機器人的穩定性，先拿這個叫做“大狗”的機器人做了一些暴力測試，讓它在光滑的冰面上行走，它最後也能找回平衡

或是狠狠的踹它一腳，也能屹立不倒

這個機器人有點慘……

當然 Atles 也沒好到哪去

等待它的也是軍事化的暴力測試

波士頓動力的這群傢伙，還想讓機器人通過“人體模擬”訓練，學習更多人類的行為

在未來可能代替人類從事基本工作、救援、甚至戰爭。如果這玩意參加戰爭……就是新時代殺人不眨眼的冷兵器啊！

說到智能機器人，那必須要說說日本了。因為在 Altas 之前，日本有一位叫做黑石浩的科學家，他也在研究機器人~這個黑石教授製作了一個自己的機器人複製品，絕對能刷新你的三觀：

不光五官十分相似，眨眼等表情也能做出來，甚至還能依靠電腦主機和人交談

看上去和真人沒啥兩樣，特別是和軟銀（softbank）合作的女機器人，它和她的原型真的沒啥不一樣

動作上也很難看出來和正常人有什麼區別！

如果上面那種機器人配上了這種面容，再融入了人類社會，也會有不小的問題

所以現在市面上更多人的呼聲是，要不然就移除機器人的武力功能，要麼就賦予他們衡量道德的自我思考能力。所以人們開始研究人工智能！創造有正確思想的機器人~

但是，機器人擁有自己的意識

也未必是好事

特別是擁有了 Atles 的靈活性

黑石教授手下機器人的外表

和人工智能的中樞“大腦”後

它們有可能會變成“奧創”一樣的大反派

有一張心理學的圖片，叫做機器人共情（恐怖谷）曲線，表明機器人智力越高、越像人類，人類對其的共情就越差（共情：指能深入他人主觀世界、瞭解其感受的能力）

現在人對未來科技更多的是一種恐懼和畏懼心理

比如說，一部經典老片《終結者》，就是人類對機器人恐懼的最直觀展現

戰鬥力強的機器人相比犯罪分子，更能靠一己之力把世界搞得天翻地覆。當然《重生男人》這部電影，也將人們對機器人的發展看法改觀，認為機器人的發展會為人類帶來永生~

這部作品描述一主角，為了獲得永生而將人體全部換成了機械。

雖然這部電影產生的倫理問題很多，但卻是少數對於未來發展的正面思考。然而更多的大片則覺得，人類會被更加智能的機器人取代，最終被機器人統治……

比如說著名的《我，機器人》，這部電影就說明了這個問題～人類習慣了安逸的生活，不再創新，最後被掌握了更高科技的機器人所取代。

個人比較喜歡《機械姬》這部電影，算是去年比較好看的恐怖片了，裡面內容講述了一個受夠了限制自由的實驗室的機器人，通過後天對社會的學習，為了自己的自由，利用男主，幹掉投資人，自己偷跑到人類社會……

所以說波士頓動力也挺危險的

這麼欺負機器人

小心哪天孕育出第二個奧創啊……

所以說在未來

機器人是一個雙刃劍

有可能會讓人類在科技上上升一個高度

也可能會導致世界上只有機器人……

嗯···自己體會吧···

極果網

AI目前為止做的最可怕的事情大概是可以不通過學習人類的知識而得到某領域的巔峰，正如圍棋方面，在今年五月擊敗柯潔之後，AlphaGo 並沒有停止自己的發展。

前幾天，DeepMind 在《自然》雜誌上發表了一篇論文，正式推出 AlphaGo Zero——人工智能圍棋程序的最新版本。據稱，這一版本的 AlphaGo 無需任何人類知識標註，在歷時三天，數百萬盤的自我對抗之後，它可以輕鬆地以 100 比 0 的成績擊敗李世乭版本的AlphaGo。DeepMind 創始人哈薩比斯表示“Zero 是迄今為止最強大，最具效率，最有通用性的 AlphaGo 版本——我們將見證這項技術很快應用到其他領域當中。”’

這意味著AI可以做自己的老師，只需要人類輸入遊戲規則，就可以自己跟自己學習迭代，不需要人類的經驗，不需要人類的知識，而且他的試錯成本遠低於人類，而學習能力和記憶能力卻遠遠高於人類，這是最恐怖的，在短短几天內積累了人類數千年的知識和經驗。

AlphaGo Zero 同時還發現了新的知識，發展出非常規和具有創意性的下法，這些技術已經超越了此前 AlphaGo 與李世石和柯潔對弈時展現的水平。除了規則，AI不需要人類輸入任何東西，卻可以在短時間得到這個規則下的最優結論。

這也意味著AI技術發展到一定階段後，人類只需要負責提出問題，將限制條件告訴機器，他就能快速且準確的給到我們答案，而這個答案，人類自己得出或許需要千年甚至更久，當人類知識和經驗對人工智能沒有任何意義的時候，AI可以自己迭代升級，自我學習，自己積累經驗，產生試驗數據並應用到實際中，我們唯一勝出的大概在於不需要充電，沒有斷電一說了。

鎂客網

AI是Artificial Intelligence的縮寫，也就是我們平常說的人工智能。它是計算機科學的一個分支，可以簡單的理解為運算能力非常強大的計算機。

那麼AI到底做了什麼可怕的事情呢？我們先從一些影視作品裡找找答案。

大家比較熟悉的比較早的影片《終結者》系列，就是關於這方面題材的。它講述的就是未來的某一天，世界由機器人來操控，機器人想完全佔有整個世界，把人類趕盡殺絕。如果AI發展到像《終結者》一樣，那真是毀滅性的災難，機器人不僅可以主宰世界，自我進化，還可以回到過去更改時間線。

另一個大家比較熟悉的就是《黑客帝國》，在這部電影裡，世界同樣被人工智能所統治，男主費了多大勁才阻止的人類被滅絕。

類似的電影還有很多，但他們總體的思路都是，人工智能統治世界，滅絕人類。這些雖然都是科幻影視作品，但是也反映出了人們對未來科技高度發達產生的擔憂。

從現實中看來，目前的人工智能還遠遠達不到影視作品中那樣發達的程度，但是它給人類帶來的威脅已經初現端倪了。最明顯的例子就是AlphaGo。

即便在1999年，深藍戰勝了國際象棋大師卡斯帕羅夫之後，人們依舊堅信，計算機是無論如何也無法在圍棋領域戰勝人類的。“大局觀”、“境界”、“情懷”等言論，也一直是人們堅信的，電腦與人的差距。而圍棋，也是證明人類智慧強於計算機的最後底線。這個底線直到2016年五月，被一個叫做AlphaGo的人工智能擊破了。AlphaGo以及它的升級版AlphaGo2.0，在2016年和2017年先後擊敗了人類中的頂尖圍棋高手李世石和柯潔。短短的一年時間裡，AlphaGo，自我學習和進化成了圍棋的上帝。當然，人工智能的這種自我學習，進化的能力是非常厲害的，但卻並不是最可怕的。

人工智能最可怕之處就在於它擊潰了人類的驕傲，它讓人類的智慧變得廉價了，特別是現在圍棋變得廉價了。像國際象棋還好，因為全世界都在玩國際象棋，他的入門並不難，當然成為高手很難，因此很多人拿它當做一個消遣娛樂，或者說是鍛鍊智力的方式。而圍棋就不一樣了，因為圍棋的受眾絕大多數集中在中、日、韓三國，本來喜歡的人就少。學習圍棋最重要的就是天賦，而且都是童子功，學的越早越好，像柯潔已經是多年難遇的天才了。

每一次的科技進步，都會使人類喪失一些能力。比如，計算器的出現，讓人們摒棄了口算；鍵盤鼠標讓人們喪失了書寫的樂趣；手機上豐富的遊戲，讓人們根本不願意邁出家門……

誠然，科技的發展代替了一些人工，提高了工作效率，但人們依舊可以聊以自慰的說機器不懂藝術，機器不會審美。而在人工智能高度發展的今天，藝術和審美也終將會被人工智能所掌握。或許在未來的某一天，人類所有的職能都將被機器所代替，在人工智能面前，人類這個物種顯得格外多餘。而最可怕的就是，如果人工智能本身意識到這個問題時，那才將是人類最大的浩劫。

蛋圈一科

我知道最可怕的事情是：Facebook讓兩個AI機器人訓練說話，最後發現兩個機器人說著別人聽不懂只有他們自己能識別的話語。我忽然想到了天網，終結者，機械姬。。好怕怕

Facebook採取的處理方式我很喜歡，直接關掉了兩個AI機器人的電源。

一開始的結果讓工程師很滿意，都選擇了自己“需要”的東西，而且會拒絕將重要的東西給出去，把“不需要”的主動讓了出去，而方式就是通過語言。可就在幾天後，人們發現這倆機器人失控的“嗨聊”起來。人們看著無法解釋的話語一時懵逼，二時細思極恐，立馬拔了電源讓機器人涼涼。

他們對話內容如下
雖然很蹩腳，但是能大概猜出意思。有的人翻譯了內容，無非是一些病句和錯誤的語法。但是如果這正是他們自己的聊天方式呢，或者刻意在防止人類知曉。大家都知道AI機器人是越訓練掌握的東西越多，思考能力也會越來越強。

後來FB掌門人扎克伯格出面解釋這件事情，意思就說：這個大家不要驚慌，出現的這個不算失控，是我們工程師設計一些東西設計的不對，是個BUG。後來BBC也出面解釋這件事情，讓大家不要驚慌。
至於是不是真的如官方答覆的那樣還是隱瞞什麼我們不得而知，對於AI機器人會不會擁有獨立思考並能夠反擊人類恐怕還有點難實現，畢竟像“奧創”那樣神一樣思考的是沒有的，以後也很難會有。

橘貓石榴

第一條，殺人

2015年7月2日德國大眾位於卡塞爾附近的一家工廠近日發生一起悲劇，一名技術人員因突遭機器人攻擊不幸喪生。

事發時這名“受害者”正與同事一起安裝機器人，但機器人卻突然抓住他的胸部，然後使勁壓在一塊鐵板上。最終，這名技術人員因傷重不治身亡。

第二條，打敗人類

谷歌阿爾法狗圍棋打敗李世石，柯潔，五十位圍棋高手，無一敗戰！

第一件事說明機器人有壓倒人類的絕對力量

第二件事說明人工智能已經超越人類思維，智力

黑喵

AI做過的最可怕的事情？這個問題，也許你腦中會出現科幻片中那些不寒而慄的場景，人類最終淪為AI的奴隸，甚至被AI剿滅。回到現實中，你會長出一口氣，AI似乎並沒有做出什麼出格的事情，一切還在我們的控制之中，最多就是AI控制的汽車偶爾出了事故，AI戰勝了人類最頂尖的棋手等等，更多的時候，我們還是在感受AI給我的生活帶來的巨大福祉。

但是，到目前為止AI真的是人畜無害嗎？其實不然，AI從出現的那天開始，就在潛移默化地改變著人類社會，在帶來各種便捷的同時，也讓人類付出了沉重的代價。根據麥肯錫的一份報告預測，到2030年，人類將因為AI和機器人技術，新增8億失業數據，而這其中2-3億出現在中國，是的，AI雖然沒有殺戮我們，卻搶走了我們的工作，搶走了我們的飯碗，這是我能預見到的，到目前為止，AI最可怕的後果，沒有之一。

也許你要說，丟了工作，再換一個唄，其實遠沒有這麼簡單，我們可以仔細觀察一下身邊哪些職業正在，甚至已經被AI和機器人代替，大多數都是低創造性，勞動密集型，高頻次重複的工作，這樣的工作對於人的技能要求並不高，相應的，從業者的技能和文化程度也不高，這樣的勞動者，如何去轉型？也許你也發現了，越來越多的高速公路收費，停車場收費，銀行櫃檯，超市收銀，流水線生產等等都在無人化，那麼這些原本的勞動者去哪裡了呢？沒有報道，也沒人關心。那麼隨著AI技術的進一步發展，一些行業會徹底消失，快遞，電話客服，出租車司機等等，將來只有創造性或者偏於人類精神世界的行業暫時受到的衝擊會小一些。

技術的發展在為人類創造更美好生活的同時也在對人類社會進行著殘酷的優勝劣汰，迫使人類自身永不停滯地進步。

愛陪娃的熊叔

談到人工智能（AI），有人會覺得它的出現會造福全人類，例如Facebook的CEO馬克·扎克伯格。當然，也有人持反面觀點，例如伊隆·馬斯克、史蒂芬·霍金，他們認為人工智能發展到某種程度後，可能就會像好萊塢大片裡的劇情一樣，威脅全人類。

那些持反面觀點的人，到底在怕什麼？有證據麼？

還真就巧了。美國問答網站Quora上就有這麼一個問題：“到目前為止，AI做過最可怕的事情是什麼？”回答這個問題的有AI研究員、退休碼農、Facebook的實習生、教師、吃瓜群眾......答案可謂是豐富多彩。

Mike Sellers

企業家，遊戲設計師，AI研究員，4.7k贊

虛擬食人族算麼？

十幾年前，我為DARPA做一些AI方面的研究。當時我們在探索如何讓智能體（Agent）學會社交互動。在其中一個模擬中，我們創建了兩個智能體，很自然的命名為：亞當和夏娃。它們知道怎麼進食，但不知道該吃什麼。

我們給了一顆蘋果樹，它們發現吃蘋果很開心。它們還嘗試過吃樹、吃房子等等，不過吃這些都沒用。

其實這個系統裡還有一個智能體，名叫斯坦，它不是很擅長社交，所以經常獨處。

有一次，亞當和夏娃正在吃蘋果，但一個bug出現了：它倆沒吃飽，但是蘋果沒了。這時斯坦正在附近閒逛，所以亞當和夏娃就把飢餓感與斯坦聯繫在一起。不久之後，當蘋果再次吃完的時候，斯坦被當成了食物。

亞當和夏娃都咬了斯坦一口。

默認情況下，每個智能體的質量是1.0，每咬一口就減少0.5，所以兩口下去，斯坦就變成了0.0。斯坦消失了。可能它是虛擬同類相殘的第一個受害者。

Nitin Gopi

吃過群眾，1.7k贊

計算機程序vs俄羅斯方塊，不知道你們聽過這件事沒，很多人覺得可怕。

CMU博士Tom Murphy創造了一個AI，能通過觀察得分來學會玩NES（其實就是任天堂紅白機）遊戲。原理很簡單，做得對就得分，然後不斷嘗試。這個AI學會了很多打遊戲的技巧和策略，甚至一些人類都不知道的bug。

這個AI叫做“NES遊戲自動化技術”，幾乎可以搞定所有的遊戲。

Tom讓這個程序玩俄羅斯方塊。這個遊戲不用多介紹了，簡單卻又很有挑戰。方塊的出現是隨機的，所以AI也無法很好的進行長遠規劃。

在一次玩俄羅斯方塊時，眼看遊戲就要結束，AI做了一個令人毛骨悚然的舉動：它沒有坐等game over，而是按下了暫停按鈕。一直暫停不動了。

按照Tom的解釋，AI認為當時的情況下，唯一的應對舉措就是不玩了。沒錯，按下暫停鍵不再繼續，那局永遠也不會輸。

不知怎麼的，這件事讓我感覺隱隱不安。

Vasily Konovalov

軟件工程師，ML/NLP研究員，143贊

這個故事發生在不久之前。

“Facebook的工程師驚慌失措，趕緊拔掉了AI的電源插頭”。

“人類真的創造出弗蘭肯斯坦？”

上面的引用，都用來描述Facebook開發的談判機器人。這個研究是想開發一種能以自然語言進行多問題談判的AI系統。對話系統的複雜架構被經過訓練的RNN網絡取代，對話策略的訓練採用了強化學習。

不過在這個AI嘗試互相學習的過程中，產生了一些看起來“令人毛骨悚然”的對話，對話以人類無法理解的姿勢進行著“i”和“to me”的循環。奇怪的是Facebook的數據表明這個AI成功完成了談判。

Sriraman Madhavan

斯坦福學統計，Facebook實習，7k贊

Target超市比父母更早發現了一名懷孕少年。

一位憤怒的父親走進Target超市要見經理。“你們怎麼給我女兒寄這個！”他吼道：“她還是高中生，你們寄送嬰兒用品的優惠券？鼓勵她懷孕？”

幾天之後。“我跟女兒談了”，這位父親說“家裡有些情況我自己都沒注意到。她的預產期在八月份。我欠你們一個道歉”。

事情是這樣的。Target超市有一個系統，能根據每位女性顧客的購物清單，推測她們的“懷孕指數”。這個系統可以比較精準的估算預產期，以便Target寄送特定階段的優惠券。

這件事發生在2012年，現在也談不上是最先進的AI。但它仍是一個令人感到可怕的機器學習模型。

Shay Zykova

ESL教師，來自夏威夷住在俄羅斯，407贊

比方，殺死競爭對手。

這是我聽來的故事，但我發誓是真事。美國的大學（應該是MIT）舉辦了一場機器人大賽。參賽團隊需要設計一個機器人，任務是把羊（也是機器的）抓到自己的羊圈裡。機器人需要自主思考並執行策略，抓羊最多的才能贏得比賽。

比賽開始，機器人開始瘋狂的捉羊。但是，有個機器人只捉了一隻羊，就關上了羊圈的門。隨後，可怕的事情發生了。這個機器人開始摧毀其他的參賽對手。它的策略是，根本不用捉羊，把對手消滅掉就贏了。

細思極恐……

Arun

市場，283贊

Salty Dog 502（鹹狗502）大家聽說過嗎？

諾斯洛普·格魯門公司（Northrop Grumman）曾經創造了一個很棒的無人機，代號X-47B（也就是Salty Dog 502），2011年2月首飛。與其他無人機不同，這架無人機的飛行不怎麼需要人類干預，主要是AI系統自己決定。

X-47B成為歷史上第一架成功在航母上著陸的無人機，這不是一件易事。

不過就在測試期間，有意思的事情發生了。兩次成功的起降之後，Salty Dog 502加滿了油然後繼續測試，準備進行第三次著陸。一切看起來都很正常，人們都在美國海軍布什號航母上等待著。然而意外發生了。

無人機沒有在艦上著陸，而是選擇降落在附近的Wallops島空軍基地。在AI看來，這個地點降落可能是更安全的選擇。也就是說，這個AI認為自己的決定比人類的指令優先級更高。在我看來，這是迄今為止最接近天網的東西。

也許我們該聽伊隆·馬斯克的話，要不然就太遲了。

這一事件之後，美國海軍決定停止資助X-47B的研發。

Sara Manar

吃瓜群眾，28贊

我覺得，應該是2010年的華爾街慘案。

當時一個交易員使用了欺騙算法，偽裝出負面的市場表現，掛出數千筆賣單，然後經過數量更多的修改，最後取消。這一系列操作，被認為背後得到了2億美元的資金支持。

而這種高頻交易算法，也引發了一系列後續的連鎖反應：ETF和股指掉頭向下，出現大幅下滑的態勢，30分鐘之內，大約1萬億美元的市值蒸發了。

儘管這種算法已經被仔細研究過，但是至於如何精確掌握算法引發的連鎖反應軌跡，以及如何防止類似情況再現，人類仍然無能為力。因為整個的設置和底層算法太複雜，以至於沒辦法被理解。

高頻批量交易算法，可以成為聚集大量財富的工具，也能成為具有大規模毀滅性的武器，這是一件可怕的事情。

Matthew Moore

退休碼農，15贊

斯坦福大學最近有一個研究，基於神經網絡的AI算法，通過面部圖片判斷性取向的準確性超過人類。

我覺得這是不該做的研究。因為有些政府還將同性戀視為犯罪行為，所以這個研究有可能帶來遠遠超出預想的危險。即便這個代碼不被公佈也無濟於事，因為證明了這個方法是有效的。其他人研發出類似的算法可能並不是非常困難。

Daniel Gravel

吃瓜群眾，42贊

你看過電影《終結者》麼？一個反烏托邦的未來，有個叫天網的AI決定對人類發起戰爭，然後施瓦辛格前來拜訪。

美國國家安全局（NSA）也有一個名叫天網（SkyNet）的程序。用途是通過元數據追蹤疑似恐怖分子：誰呼叫了誰、從哪裡呼叫、何時呼叫等。這些數據被用來指導無人機發起攻擊。

你問我到底哪裡可怕？好吧，這可能是NSA正在好心辦壞事，試圖重現電影《終結者》裡的一幕。

除了天網，還有一個名為MonsterMind的程序。天網識別目標，MonsterMind指揮無人機實施攻擊，而且整個過程都是自動化，能不細思極恐嗎？

關鍵字: 科技 可怕 互聯網