撒旦多米诺

正好写稿没思路，看了不少回答，很多都在说AI的进化速度以及发生在未来的“可怕”，我来回顾一个发生过的可怕的事情吧。

人工智能的终极用途是啥？你不要不承认，它最有价值的地方，就是减少很多事情对人力资源的依赖，而最直观发生这种改变的地方，应该就是战争这种一直都有大量人类参与的事情了。

美国军方对于这类革新一直都很有兴趣的，于是有这么一个供应商，从2000年开始就源源不断的为军方供应机器人 产品。这家公司叫福斯特·米勒公司，他们的主力产品叫“魔爪”，是世界上第一种战斗机器人。其实这个称呼有点夸张了，论战斗魔爪一直不怎么在行，因为早期它是这个样子的：

前面那个长长的东西是探雷器，这货早期主要的用途是打扫战场，做做侦查、搬运东西、扫雷之类的工作，有时候也负责打开危险物品什么的。

这货并不是终结者那种完全的人工智能，而是遥控与人工智能结合，人工智能对机械部分的控制只有一部分自主权。至于遥控终端，各位应该很熟悉，估计不少人家里都有：

事情发展走向基本脱离不开美国大片的套路，这么好的东西放在军队里，怎么可以只做这些无聊的事情呢？于是2006年这货的武装版诞生了，还给改了个名字叫“利剑”，就是把上面的机械手改成了机枪。

接下来也是按照大片的套路发展的。类似的电影有很多，比如《机械公敌》或者《绝密飞行》，总之就是有了思维的东西肯定会突然不听话。只是在现实中比电影里更快，魔爪刚升级成利剑就出事故了。

2007年福斯特·米勒公司拿着三台这货在给军方演示的时候，启动后的它枪口掉转过来对着操作人员，同时遥控也出现了故障，发出的取消指令对它无效。正常情况下以它的火力基本上是要死几个人收场的，团灭也不是不可能，只是不确定它什么时候会开枪。好在危险发生之前，现场的美国大兵用火箭筒把它炸翻，总算是让在场所有人都安全了。

机械公敌表示老子没有武器都能造反给你们看……

当时有媒体报道这起事故时候说，这结果导致军方要花很长时间评估军用机器人的安全性，恐怕军用机器人在未来二三十年都没有市场了。

不过结果没这么严重，事后福斯特·米勒公司说是软件没升级造成的，问题BUG已经修复。当年就接了订单，后来顺顺利利的卖给美国军方几千个，但这是魔爪和利剑总共的数量，单独的利剑有多少就不知道了。因为据说事故还是弄得大家心里都有阴影，还是愿意用魔爪来称呼他。

以上表述有演义的成分，但大致情况差不多，领会精神就好。

最后，要是有一天机器人真的突然调转枪头……

数码评价

AI做过可怕的事情在美国问答网站Quora上有这么简单的表述，简单来说就是，AI会吃人，并且有了自己的意识。

当然我们科幻电影看到的杀死人类、拥有智能、机器战士等多个方面。

1、AI吃掉同类

企业家Mike Sellers是这么来描述的：

十几年前，我为DARPA做一些AI方面的研究。当时我们在探索如何让智能体（Agent）学会社交互动。在其中一个模拟中创建了两个智能体命名为：亚当和夏娃。它们知道怎么进食，但不知道该吃什么。系统给了一颗苹果树，它们发现吃苹果很开心。它们还尝试过吃树、吃房子等等，不过吃这些都没用。系统里还有设置一个智能体，名叫斯坦，它不是很擅长社交，所以经常独处。

有一次，亚当和夏娃正在吃苹果，但一个bug出现了：它俩没吃饱，但是苹果没了。这时斯坦正在附近闲逛，所以亚当和夏娃就把饥饿感与斯坦联系在一起。不久之后，当苹果再次吃完的时候，斯坦被当成了食物，亚当和夏娃都咬了斯坦一口。默认情况下，每个智能体的质量是1.0，每咬一口就减少0.5，所以两口下去，斯坦就变成了0.0。斯坦消失了。可能它是虚拟同类相残的第一个受害者。

2、拥有自我意识的无人机

诺斯洛普·格鲁门公司曾经创造了一个很棒的无人机，代号X-47B（也就是Salty Dog 502），这架无人机是一架AI无人机。X-47B成为历史上第一架成功在航母上着陆的无人机。

在两次成功的起降之后，Salty Dog 502加满了油然后继续测试，准备进行第三次着陆，但是意外出现了，无人机没有在舰上着陆，而是选择降落在附近的Wallops岛空军基地。在AI看来，这个地点降落可能是更安全的选择。也就是说，这个AI认为自己的决定比人类的指令优先级更高。这一事件之后，美国海军决定停止资助X-47B的研发。

所以，AI是多么的可怕，你觉得AI最可怕的是做什么？

毛琳Michael

有没有人想过，如果AI阅读了人类有史以来的所有图书，会不会“计算”出一个最优的“政治制度”？

（图片说明：美国国会图书馆，世界最大馆藏量的图书馆）

这虽然不算是“做过”（完成时）的最可怕的事，但很有可能是“正在做”的最可怕的事哦。

第一步，是把人类留存的海量资料信息化。以前主要以图书资料为主，现在更多的是音视频资料。这个实际上在很早之前就在做了，最早的时候是打字员一个字一个字敲进去，后来有了扫描仪，就方便多了，一扫，再一OCR，就可以存储起来了。现在反正美国、中国、欧盟、日本都在做图书馆的数字化工程，博物馆的数字化工程也开始做了。嗯，这样一来，整个人类文明史的资料正在逐步数字化了，随着以后纯数字化记录和云储存的普及，图书、音视频等一开始就数字化并自动储存了，连数字化的步骤都可以省掉了。这一步并不一定需要100%完成才行，有30%，甚至10%的数据量就足够了。更多的数据无非是让模型更加精确而已。

第二步，是把这些“人类”的自然语言转化成“计算机”能理解的语言。目前微软的Cortana，苹果的Siri，谷歌的Google Assistant都已经做得不错了，甚至连“嗯哼”这种语气词都会毫无违和的使用了。等到人类同传下岗，AI完全做到即时翻译的时候，那些储存着的古今中外的文献资料就都能识别出其中的“含义”了。这一步现在的完成度也很高了，至少拿个手机在外国旅游的时候问个路点个餐已经能解决了。

第三步，就是最核心的一步了，进行人类社会结构的计算推演。这个活听上去很复杂，其实干的事和AlphaGoZero差不多的事，只不过AlphaGoZero做的是黑白棋子的推演，而这里做的事是人类社会的推演，把历史上人类兴衰成败的历史（战争史、文明史、科技史、艺术史……）作为棋谱参考输入进去，然后用强大的算力（直接偷用区块链矿机的算力就行，全世界矿机10%的算力有已经是很强大的算力了）推演人类从原始社会至今的不同发展分支，评估费效比（社会关系的总成本VS社会的总生产力），计算出最适合某一生产力阶段的生产关系形式……马克思只怕都要笑醒啊。。。

（图片说明：自下而上：生产力、生产关系、上层建筑）

最后一步，就是如何实现的问题。到底是AI给出建议，人类来实行呢？还是假如人类抱着党派小团体自私的原则拒绝实行，AI来强行接管呢？注意，强行接管并不一定需要违反机器人三原则，更何况其算了半天的更本目的是“为全人类服务”（这话感觉怎么这么耳熟），因此完全可以在不违反机器人三原则的前提下接管政府。举个不恰当的例子，AI先让所有的电子政务系统瘫痪，民众办不了事肯定要闹腾，然后再用社交网络的僵尸ID或者干脆直接接管真实用户ID大量发表吐槽文和煽动文，执政党分分钟下台。然后通过后台操控，可以选择“最能贯彻执行AI指定模式”的政党上台，制订修改法律法规，改组政府……或者干脆直接推初音未来这种虚拟人物上台都行。

今天看你笑嘻嘻，明天让你……

肖震宇的科学小屋

人工智能被大家熟知，应该是从围棋大战开始！从李世石、到柯洁，两大世界顶尖旗手都败给阿尔法狗！而最近谷歌旗下的 DeepMind 团队公布了进化后的最强版 AlphaGo，代号为 AlphaGo Zero。

相信大家都记得 AlphaGo 当时打败了李世石，那一版 AlphaGo 选用了 3000 万盘比赛作为训练数据。

纯自学还能不断自我完善

而作为全新升级的最强版，AlphaGo Zero 并没有像上代一样学习人类的围棋只是，只计算了 490 万盘比赛数据和自我对弈，仅用 3 天就走完了人类上千年的围棋历史，完全是从零开始纯自学，并且每一次都在进行调整、升级和自我完善（对手强不可怕，可怕的它还在变强...人类是不是显得有点多余了...）

PK 旧版 100 连胜

而最新版 AlphaGo Zero 也在与打败李世石的 AlphaGo 对阵中，取得了 100 连胜！

100 连胜，什么概念...就好比是一个 985 的大学生去参加小学考试，失误？不存在的。

诞生的 3 小时后，AlphaGo Zero 已经知道怎么下围棋了。

诞生 36 小时后，AlphaGo Zero 打败了它的“二哥”AlphaGo Lee——以 100:0 的碾压战绩。

诞生的第 21 天，AlphaGo Zero 就打败了 60 连胜的 Master，Master 后来战胜了国际围棋第一人柯洁。

诞生的第 40 天，AlphaGo Zero 对战 Master 的胜率达到 90%，成为最强的人工智能。

当人工智能的发展速度大规模超越人脑的时候，仔细想想还是挺可怕的...

回顾谷歌，还花了 30 亿，造了个毁灭者！

话说，谷歌可不只是造出了个会下棋的AlphaGo，他还花了30亿，造了个“毁灭者”~

年初的时候，谷歌发布了一个秒天秒地秒空气的机器人，据说再发展一下甚至都有可能毁灭世界！

这货可以在雪地稳步行走

自己开门也没问题

它搬箱子的能力也很强，10磅（4.5kg）的东西也能搬得动

被狠狠的推一下以后，还能保持很好的平衡

而且还能自动追踪箱子的位置

被粗暴对待以后，还可以自己爬起来……

基本上已经具备了自己去干一些事的能力

这货就是被谷歌花30亿美元收购的公司 ——波士顿动力（Boston Dynamics）出品的 Atlas。其实 Atlas 的原型机，就已经非常厉害了，崎岖的地形上走完全没问题

俯卧撑也能做

只不过当时需要连着长长的线

而现在已经挣脱束缚了

其实它们在五年前还做出了其他一些机器人，可以健步如飞的“小野猫”机器人，最多可以达到时速 25km

然后波士顿动力这群家伙，还喜欢“虐狗”

波士顿动力的科学家，为了研究两足式机器人的稳定性，先拿这个叫做“大狗”的机器人做了一些暴力测试，让它在光滑的冰面上行走，它最后也能找回平衡

或是狠狠的踹它一脚，也能屹立不倒

这个机器人有点惨……

当然 Atles 也没好到哪去

等待它的也是军事化的暴力测试

波士顿动力的这群家伙，还想让机器人通过“人体模拟”训练，学习更多人类的行为

在未来可能代替人类从事基本工作、救援、甚至战争。如果这玩意参加战争……就是新时代杀人不眨眼的冷兵器啊！

说到智能机器人，那必须要说说日本了。因为在 Altas 之前，日本有一位叫做黑石浩的科学家，他也在研究机器人~这个黑石教授制作了一个自己的机器人复制品，绝对能刷新你的三观：

不光五官十分相似，眨眼等表情也能做出来，甚至还能依靠电脑主机和人交谈

看上去和真人没啥两样，特别是和软银（softbank）合作的女机器人，它和她的原型真的没啥不一样

动作上也很难看出来和正常人有什么区别！

如果上面那种机器人配上了这种面容，再融入了人类社会，也会有不小的问题

所以现在市面上更多人的呼声是，要不然就移除机器人的武力功能，要么就赋予他们衡量道德的自我思考能力。所以人们开始研究人工智能！创造有正确思想的机器人~

但是，机器人拥有自己的意识

也未必是好事

特别是拥有了 Atles 的灵活性

黑石教授手下机器人的外表

和人工智能的中枢“大脑”后

它们有可能会变成“奥创”一样的大反派

有一张心理学的图片，叫做机器人共情（恐怖谷）曲线，表明机器人智力越高、越像人类，人类对其的共情就越差（共情：指能深入他人主观世界、了解其感受的能力）

现在人对未来科技更多的是一种恐惧和畏惧心理

比如说，一部经典老片《终结者》，就是人类对机器人恐惧的最直观展现

战斗力强的机器人相比犯罪分子，更能靠一己之力把世界搞得天翻地覆。当然《重生男人》这部电影，也将人们对机器人的发展看法改观，认为机器人的发展会为人类带来永生~

这部作品描述一主角，为了获得永生而将人体全部换成了机械。

虽然这部电影产生的伦理问题很多，但却是少数对于未来发展的正面思考。然而更多的大片则觉得，人类会被更加智能的机器人取代，最终被机器人统治……

比如说著名的《我，机器人》，这部电影就说明了这个问题～人类习惯了安逸的生活，不再创新，最后被掌握了更高科技的机器人所取代。

个人比较喜欢《机械姬》这部电影，算是去年比较好看的恐怖片了，里面内容讲述了一个受够了限制自由的实验室的机器人，通过后天对社会的学习，为了自己的自由，利用男主，干掉投资人，自己偷跑到人类社会……

所以说波士顿动力也挺危险的

这么欺负机器人

小心哪天孕育出第二个奥创啊……

所以说在未来

机器人是一个双刃剑

有可能会让人类在科技上上升一个高度

也可能会导致世界上只有机器人……

嗯···自己体会吧···

极果网

AI目前为止做的最可怕的事情大概是可以不通过学习人类的知识而得到某领域的巅峰，正如围棋方面，在今年五月击败柯洁之后，AlphaGo 并没有停止自己的发展。

前几天，DeepMind 在《自然》杂志上发表了一篇论文，正式推出 AlphaGo Zero——人工智能围棋程序的最新版本。据称，这一版本的 AlphaGo 无需任何人类知识标注，在历时三天，数百万盘的自我对抗之后，它可以轻松地以 100 比 0 的成绩击败李世乭版本的AlphaGo。DeepMind 创始人哈萨比斯表示“Zero 是迄今为止最强大，最具效率，最有通用性的 AlphaGo 版本——我们将见证这项技术很快应用到其他领域当中。”’

这意味着AI可以做自己的老师，只需要人类输入游戏规则，就可以自己跟自己学习迭代，不需要人类的经验，不需要人类的知识，而且他的试错成本远低于人类，而学习能力和记忆能力却远远高于人类，这是最恐怖的，在短短几天内积累了人类数千年的知识和经验。

AlphaGo Zero 同时还发现了新的知识，发展出非常规和具有创意性的下法，这些技术已经超越了此前 AlphaGo 与李世石和柯洁对弈时展现的水平。除了规则，AI不需要人类输入任何东西，却可以在短时间得到这个规则下的最优结论。

这也意味着AI技术发展到一定阶段后，人类只需要负责提出问题，将限制条件告诉机器，他就能快速且准确的给到我们答案，而这个答案，人类自己得出或许需要千年甚至更久，当人类知识和经验对人工智能没有任何意义的时候，AI可以自己迭代升级，自我学习，自己积累经验，产生试验数据并应用到实际中，我们唯一胜出的大概在于不需要充电，没有断电一说了。

镁客网

AI是Artificial Intelligence的缩写，也就是我们平常说的人工智能。它是计算机科学的一个分支，可以简单的理解为运算能力非常强大的计算机。

那么AI到底做了什么可怕的事情呢？我们先从一些影视作品里找找答案。

大家比较熟悉的比较早的影片《终结者》系列，就是关于这方面题材的。它讲述的就是未来的某一天，世界由机器人来操控，机器人想完全占有整个世界，把人类赶尽杀绝。如果AI发展到像《终结者》一样，那真是毁灭性的灾难，机器人不仅可以主宰世界，自我进化，还可以回到过去更改时间线。

另一个大家比较熟悉的就是《黑客帝国》，在这部电影里，世界同样被人工智能所统治，男主费了多大劲才阻止的人类被灭绝。

类似的电影还有很多，但他们总体的思路都是，人工智能统治世界，灭绝人类。这些虽然都是科幻影视作品，但是也反映出了人们对未来科技高度发达产生的担忧。

从现实中看来，目前的人工智能还远远达不到影视作品中那样发达的程度，但是它给人类带来的威胁已经初现端倪了。最明显的例子就是AlphaGo。

即便在1999年，深蓝战胜了国际象棋大师卡斯帕罗夫之后，人们依旧坚信，计算机是无论如何也无法在围棋领域战胜人类的。“大局观”、“境界”、“情怀”等言论，也一直是人们坚信的，电脑与人的差距。而围棋，也是证明人类智慧强于计算机的最后底线。这个底线直到2016年五月，被一个叫做AlphaGo的人工智能击破了。AlphaGo以及它的升级版AlphaGo2.0，在2016年和2017年先后击败了人类中的顶尖围棋高手李世石和柯洁。短短的一年时间里，AlphaGo，自我学习和进化成了围棋的上帝。当然，人工智能的这种自我学习，进化的能力是非常厉害的，但却并不是最可怕的。

人工智能最可怕之处就在于它击溃了人类的骄傲，它让人类的智慧变得廉价了，特别是现在围棋变得廉价了。像国际象棋还好，因为全世界都在玩国际象棋，他的入门并不难，当然成为高手很难，因此很多人拿它当做一个消遣娱乐，或者说是锻炼智力的方式。而围棋就不一样了，因为围棋的受众绝大多数集中在中、日、韩三国，本来喜欢的人就少。学习围棋最重要的就是天赋，而且都是童子功，学的越早越好，像柯洁已经是多年难遇的天才了。

每一次的科技进步，都会使人类丧失一些能力。比如，计算器的出现，让人们摒弃了口算；键盘鼠标让人们丧失了书写的乐趣；手机上丰富的游戏，让人们根本不愿意迈出家门……

诚然，科技的发展代替了一些人工，提高了工作效率，但人们依旧可以聊以自慰的说机器不懂艺术，机器不会审美。而在人工智能高度发展的今天，艺术和审美也终将会被人工智能所掌握。或许在未来的某一天，人类所有的职能都将被机器所代替，在人工智能面前，人类这个物种显得格外多余。而最可怕的就是，如果人工智能本身意识到这个问题时，那才将是人类最大的浩劫。

蛋圈一科

我知道最可怕的事情是：Facebook让两个AI机器人训练说话，最后发现两个机器人说着别人听不懂只有他们自己能识别的话语。我忽然想到了天网，终结者，机械姬。。好怕怕

Facebook采取的处理方式我很喜欢，直接关掉了两个AI机器人的电源。

一开始的结果让工程师很满意，都选择了自己“需要”的东西，而且会拒绝将重要的东西给出去，把“不需要”的主动让了出去，而方式就是通过语言。可就在几天后，人们发现这俩机器人失控的“嗨聊”起来。人们看着无法解释的话语一时懵逼，二时细思极恐，立马拔了电源让机器人凉凉。

他们对话内容如下
虽然很蹩脚，但是能大概猜出意思。有的人翻译了内容，无非是一些病句和错误的语法。但是如果这正是他们自己的聊天方式呢，或者刻意在防止人类知晓。大家都知道AI机器人是越训练掌握的东西越多，思考能力也会越来越强。

后来FB掌门人扎克伯格出面解释这件事情，意思就说：这个大家不要惊慌，出现的这个不算失控，是我们工程师设计一些东西设计的不对，是个BUG。后来BBC也出面解释这件事情，让大家不要惊慌。
至于是不是真的如官方答复的那样还是隐瞒什么我们不得而知，对于AI机器人会不会拥有独立思考并能够反击人类恐怕还有点难实现，毕竟像“奥创”那样神一样思考的是没有的，以后也很难会有。

橘猫石榴

第一条，杀人

2015年7月2日德国大众位于卡塞尔附近的一家工厂近日发生一起悲剧，一名技术人员因突遭机器人攻击不幸丧生。

事发时这名“受害者”正与同事一起安装机器人，但机器人却突然抓住他的胸部，然后使劲压在一块铁板上。最终，这名技术人员因伤重不治身亡。

第二条，打败人类

谷歌阿尔法狗围棋打败李世石，柯洁，五十位围棋高手，无一败战！

第一件事说明机器人有压倒人类的绝对力量

第二件事说明人工智能已经超越人类思维，智力

黑喵

AI做过的最可怕的事情？这个问题，也许你脑中会出现科幻片中那些不寒而栗的场景，人类最终沦为AI的奴隶，甚至被AI剿灭。回到现实中，你会长出一口气，AI似乎并没有做出什么出格的事情，一切还在我们的控制之中，最多就是AI控制的汽车偶尔出了事故，AI战胜了人类最顶尖的棋手等等，更多的时候，我们还是在感受AI给我的生活带来的巨大福祉。

但是，到目前为止AI真的是人畜无害吗？其实不然，AI从出现的那天开始，就在潜移默化地改变着人类社会，在带来各种便捷的同时，也让人类付出了沉重的代价。根据麦肯锡的一份报告预测，到2030年，人类将因为AI和机器人技术，新增8亿失业数据，而这其中2-3亿出现在中国，是的，AI虽然没有杀戮我们，却抢走了我们的工作，抢走了我们的饭碗，这是我能预见到的，到目前为止，AI最可怕的后果，没有之一。

也许你要说，丢了工作，再换一个呗，其实远没有这么简单，我们可以仔细观察一下身边哪些职业正在，甚至已经被AI和机器人代替，大多数都是低创造性，劳动密集型，高频次重复的工作，这样的工作对于人的技能要求并不高，相应的，从业者的技能和文化程度也不高，这样的劳动者，如何去转型？也许你也发现了，越来越多的高速公路收费，停车场收费，银行柜台，超市收银，流水线生产等等都在无人化，那么这些原本的劳动者去哪里了呢？没有报道，也没人关心。那么随着AI技术的进一步发展，一些行业会彻底消失，快递，电话客服，出租车司机等等，将来只有创造性或者偏于人类精神世界的行业暂时受到的冲击会小一些。

技术的发展在为人类创造更美好生活的同时也在对人类社会进行着残酷的优胜劣汰，迫使人类自身永不停滞地进步。

爱陪娃的熊叔

谈到人工智能（AI），有人会觉得它的出现会造福全人类，例如Facebook的CEO马克·扎克伯格。当然，也有人持反面观点，例如伊隆·马斯克、史蒂芬·霍金，他们认为人工智能发展到某种程度后，可能就会像好莱坞大片里的剧情一样，威胁全人类。

那些持反面观点的人，到底在怕什么？有证据么？

还真就巧了。美国问答网站Quora上就有这么一个问题：“到目前为止，AI做过最可怕的事情是什么？”回答这个问题的有AI研究员、退休码农、Facebook的实习生、教师、吃瓜群众......答案可谓是丰富多彩。

Mike Sellers

企业家，游戏设计师，AI研究员，4.7k赞

虚拟食人族算么？

十几年前，我为DARPA做一些AI方面的研究。当时我们在探索如何让智能体（Agent）学会社交互动。在其中一个模拟中，我们创建了两个智能体，很自然的命名为：亚当和夏娃。它们知道怎么进食，但不知道该吃什么。

我们给了一颗苹果树，它们发现吃苹果很开心。它们还尝试过吃树、吃房子等等，不过吃这些都没用。

其实这个系统里还有一个智能体，名叫斯坦，它不是很擅长社交，所以经常独处。

有一次，亚当和夏娃正在吃苹果，但一个bug出现了：它俩没吃饱，但是苹果没了。这时斯坦正在附近闲逛，所以亚当和夏娃就把饥饿感与斯坦联系在一起。不久之后，当苹果再次吃完的时候，斯坦被当成了食物。

亚当和夏娃都咬了斯坦一口。

默认情况下，每个智能体的质量是1.0，每咬一口就减少0.5，所以两口下去，斯坦就变成了0.0。斯坦消失了。可能它是虚拟同类相残的第一个受害者。

Nitin Gopi

吃过群众，1.7k赞

计算机程序vs俄罗斯方块，不知道你们听过这件事没，很多人觉得可怕。

CMU博士Tom Murphy创造了一个AI，能通过观察得分来学会玩NES（其实就是任天堂红白机）游戏。原理很简单，做得对就得分，然后不断尝试。这个AI学会了很多打游戏的技巧和策略，甚至一些人类都不知道的bug。

这个AI叫做“NES游戏自动化技术”，几乎可以搞定所有的游戏。

Tom让这个程序玩俄罗斯方块。这个游戏不用多介绍了，简单却又很有挑战。方块的出现是随机的，所以AI也无法很好的进行长远规划。

在一次玩俄罗斯方块时，眼看游戏就要结束，AI做了一个令人毛骨悚然的举动：它没有坐等game over，而是按下了暂停按钮。一直暂停不动了。

按照Tom的解释，AI认为当时的情况下，唯一的应对举措就是不玩了。没错，按下暂停键不再继续，那局永远也不会输。

不知怎么的，这件事让我感觉隐隐不安。

Vasily Konovalov

软件工程师，ML/NLP研究员，143赞

这个故事发生在不久之前。

“Facebook的工程师惊慌失措，赶紧拔掉了AI的电源插头”。

“人类真的创造出弗兰肯斯坦？”

上面的引用，都用来描述Facebook开发的谈判机器人。这个研究是想开发一种能以自然语言进行多问题谈判的AI系统。对话系统的复杂架构被经过训练的RNN网络取代，对话策略的训练采用了强化学习。

不过在这个AI尝试互相学习的过程中，产生了一些看起来“令人毛骨悚然”的对话，对话以人类无法理解的姿势进行着“i”和“to me”的循环。奇怪的是Facebook的数据表明这个AI成功完成了谈判。

Sriraman Madhavan

斯坦福学统计，Facebook实习，7k赞

Target超市比父母更早发现了一名怀孕少年。

一位愤怒的父亲走进Target超市要见经理。“你们怎么给我女儿寄这个！”他吼道：“她还是高中生，你们寄送婴儿用品的优惠券？鼓励她怀孕？”

几天之后。“我跟女儿谈了”，这位父亲说“家里有些情况我自己都没注意到。她的预产期在八月份。我欠你们一个道歉”。

事情是这样的。Target超市有一个系统，能根据每位女性顾客的购物清单，推测她们的“怀孕指数”。这个系统可以比较精准的估算预产期，以便Target寄送特定阶段的优惠券。

这件事发生在2012年，现在也谈不上是最先进的AI。但它仍是一个令人感到可怕的机器学习模型。

Shay Zykova

ESL教师，来自夏威夷住在俄罗斯，407赞

比方，杀死竞争对手。

这是我听来的故事，但我发誓是真事。美国的大学（应该是MIT）举办了一场机器人大赛。参赛团队需要设计一个机器人，任务是把羊（也是机器的）抓到自己的羊圈里。机器人需要自主思考并执行策略，抓羊最多的才能赢得比赛。

比赛开始，机器人开始疯狂的捉羊。但是，有个机器人只捉了一只羊，就关上了羊圈的门。随后，可怕的事情发生了。这个机器人开始摧毁其他的参赛对手。它的策略是，根本不用捉羊，把对手消灭掉就赢了。

细思极恐……

Arun

市场，283赞

Salty Dog 502（咸狗502）大家听说过吗？

诺斯洛普·格鲁门公司（Northrop Grumman）曾经创造了一个很棒的无人机，代号X-47B（也就是Salty Dog 502），2011年2月首飞。与其他无人机不同，这架无人机的飞行不怎么需要人类干预，主要是AI系统自己决定。

X-47B成为历史上第一架成功在航母上着陆的无人机，这不是一件易事。

不过就在测试期间，有意思的事情发生了。两次成功的起降之后，Salty Dog 502加满了油然后继续测试，准备进行第三次着陆。一切看起来都很正常，人们都在美国海军布什号航母上等待着。然而意外发生了。

无人机没有在舰上着陆，而是选择降落在附近的Wallops岛空军基地。在AI看来，这个地点降落可能是更安全的选择。也就是说，这个AI认为自己的决定比人类的指令优先级更高。在我看来，这是迄今为止最接近天网的东西。

也许我们该听伊隆·马斯克的话，要不然就太迟了。

这一事件之后，美国海军决定停止资助X-47B的研发。

Sara Manar

吃瓜群众，28赞

我觉得，应该是2010年的华尔街惨案。

当时一个交易员使用了欺骗算法，伪装出负面的市场表现，挂出数千笔卖单，然后经过数量更多的修改，最后取消。这一系列操作，被认为背后得到了2亿美元的资金支持。

而这种高频交易算法，也引发了一系列后续的连锁反应：ETF和股指掉头向下，出现大幅下滑的态势，30分钟之内，大约1万亿美元的市值蒸发了。

尽管这种算法已经被仔细研究过，但是至于如何精确掌握算法引发的连锁反应轨迹，以及如何防止类似情况再现，人类仍然无能为力。因为整个的设置和底层算法太复杂，以至于没办法被理解。

高频批量交易算法，可以成为聚集大量财富的工具，也能成为具有大规模毁灭性的武器，这是一件可怕的事情。

Matthew Moore

退休码农，15赞

斯坦福大学最近有一个研究，基于神经网络的AI算法，通过面部图片判断性取向的准确性超过人类。

我觉得这是不该做的研究。因为有些政府还将同性恋视为犯罪行为，所以这个研究有可能带来远远超出预想的危险。即便这个代码不被公布也无济于事，因为证明了这个方法是有效的。其他人研发出类似的算法可能并不是非常困难。

Daniel Gravel

吃瓜群众，42赞

你看过电影《终结者》么？一个反乌托邦的未来，有个叫天网的AI决定对人类发起战争，然后施瓦辛格前来拜访。

美国国家安全局（NSA）也有一个名叫天网（SkyNet）的程序。用途是通过元数据追踪疑似恐怖分子：谁呼叫了谁、从哪里呼叫、何时呼叫等。这些数据被用来指导无人机发起攻击。

你问我到底哪里可怕？好吧，这可能是NSA正在好心办坏事，试图重现电影《终结者》里的一幕。

除了天网，还有一个名为MonsterMind的程序。天网识别目标，MonsterMind指挥无人机实施攻击，而且整个过程都是自动化，能不细思极恐吗？

關鍵字: 人工智能 可怕 事情