撒旦多米诺

AI做过可怕的事情在美国问答网站Quora上有这么简单的表述，简单来说就是，AI会吃人，并且有了自己的意识。

当然我们科幻电影看到的杀死人类、拥有智能、机器战士等多个方面。

1、AI吃掉同类

企业家Mike Sellers是这么来描述的：

十几年前，我为DARPA做一些AI方面的研究。当时我们在探索如何让智能体（Agent）学会社交互动。在其中一个模拟中创建了两个智能体命名为：亚当和夏娃。它们知道怎么进食，但不知道该吃什么。系统给了一颗苹果树，它们发现吃苹果很开心。它们还尝试过吃树、吃房子等等，不过吃这些都没用。系统里还有设置一个智能体，名叫斯坦，它不是很擅长社交，所以经常独处。

有一次，亚当和夏娃正在吃苹果，但一个bug出现了：它俩没吃饱，但是苹果没了。这时斯坦正在附近闲逛，所以亚当和夏娃就把饥饿感与斯坦联系在一起。不久之后，当苹果再次吃完的时候，斯坦被当成了食物，亚当和夏娃都咬了斯坦一口。默认情况下，每个智能体的质量是1.0，每咬一口就减少0.5，所以两口下去，斯坦就变成了0.0。斯坦消失了。可能它是虚拟同类相残的第一个受害者。

2、拥有自我意识的无人机

诺斯洛普·格鲁门公司曾经创造了一个很棒的无人机，代号X-47B（也就是Salty Dog 502），这架无人机是一架AI无人机。X-47B成为历史上第一架成功在航母上着陆的无人机。

在两次成功的起降之后，Salty Dog 502加满了油然后继续测试，准备进行第三次着陆，但是意外出现了，无人机没有在舰上着陆，而是选择降落在附近的Wallops岛空军基地。在AI看来，这个地点降落可能是更安全的选择。也就是说，这个AI认为自己的决定比人类的指令优先级更高。这一事件之后，美国海军决定停止资助X-47B的研发。

所以，AI是多么的可怕，你觉得AI最可怕的是做什么？

毛琳Michael

人工智能被大家熟知，应该是从围棋大战开始！从李世石、到柯洁，两大世界顶尖旗手都败给阿尔法狗！而最近谷歌旗下的 DeepMind 团队公布了进化后的最强版 AlphaGo，代号为 AlphaGo Zero。

相信大家都记得 AlphaGo 当时打败了李世石，那一版 AlphaGo 选用了 3000 万盘比赛作为训练数据。

纯自学还能不断自我完善

而作为全新升级的最强版，AlphaGo Zero 并没有像上代一样学习人类的围棋只是，只计算了 490 万盘比赛数据和自我对弈，仅用 3 天就走完了人类上千年的围棋历史，完全是从零开始纯自学，并且每一次都在进行调整、升级和自我完善（对手强不可怕，可怕的它还在变强...人类是不是显得有点多余了...）

PK 旧版 100 连胜

而最新版 AlphaGo Zero 也在与打败李世石的 AlphaGo 对阵中，取得了 100 连胜！

100 连胜，什么概念...就好比是一个 985 的大学生去参加小学考试，失误？不存在的。

诞生的 3 小时后，AlphaGo Zero 已经知道怎么下围棋了。

诞生 36 小时后，AlphaGo Zero 打败了它的“二哥”AlphaGo Lee——以 100:0 的碾压战绩。

诞生的第 21 天，AlphaGo Zero 就打败了 60 连胜的 Master，Master 后来战胜了国际围棋第一人柯洁。

诞生的第 40 天，AlphaGo Zero 对战 Master 的胜率达到 90%，成为最强的人工智能。

当人工智能的发展速度大规模超越人脑的时候，仔细想想还是挺可怕的...

回顾谷歌，还花了 30 亿，造了个毁灭者！

话说，谷歌可不只是造出了个会下棋的AlphaGo，他还花了30亿，造了个“毁灭者”~

年初的时候，谷歌发布了一个秒天秒地秒空气的机器人，据说再发展一下甚至都有可能毁灭世界！

这货可以在雪地稳步行走

自己开门也没问题

它搬箱子的能力也很强，10磅（4.5kg）的东西也能搬得动

被狠狠的推一下以后，还能保持很好的平衡

而且还能自动追踪箱子的位置

被粗暴对待以后，还可以自己爬起来……

基本上已经具备了自己去干一些事的能力

这货就是被谷歌花30亿美元收购的公司 ——波士顿动力（Boston Dynamics）出品的 Atlas。其实 Atlas 的原型机，就已经非常厉害了，崎岖的地形上走完全没问题

俯卧撑也能做

只不过当时需要连着长长的线

而现在已经挣脱束缚了

其实它们在五年前还做出了其他一些机器人，可以健步如飞的“小野猫”机器人，最多可以达到时速 25km

然后波士顿动力这群家伙，还喜欢“虐狗”

波士顿动力的科学家，为了研究两足式机器人的稳定性，先拿这个叫做“大狗”的机器人做了一些暴力测试，让它在光滑的冰面上行走，它最后也能找回平衡

或是狠狠的踹它一脚，也能屹立不倒

这个机器人有点惨……

当然 Atles 也没好到哪去

等待它的也是军事化的暴力测试

波士顿动力的这群家伙，还想让机器人通过“人体模拟”训练，学习更多人类的行为

在未来可能代替人类从事基本工作、救援、甚至战争。如果这玩意参加战争……就是新时代杀人不眨眼的冷兵器啊！

说到智能机器人，那必须要说说日本了。因为在 Altas 之前，日本有一位叫做黑石浩的科学家，他也在研究机器人~这个黑石教授制作了一个自己的机器人复制品，绝对能刷新你的三观：

不光五官十分相似，眨眼等表情也能做出来，甚至还能依靠电脑主机和人交谈

看上去和真人没啥两样，特别是和软银（softbank）合作的女机器人，它和她的原型真的没啥不一样

动作上也很难看出来和正常人有什么区别！

如果上面那种机器人配上了这种面容，再融入了人类社会，也会有不小的问题

所以现在市面上更多人的呼声是，要不然就移除机器人的武力功能，要么就赋予他们衡量道德的自我思考能力。所以人们开始研究人工智能！创造有正确思想的机器人~

但是，机器人拥有自己的意识

也未必是好事

特别是拥有了 Atles 的灵活性

黑石教授手下机器人的外表

和人工智能的中枢“大脑”后

它们有可能会变成“奥创”一样的大反派

有一张心理学的图片，叫做机器人共情（恐怖谷）曲线，表明机器人智力越高、越像人类，人类对其的共情就越差（共情：指能深入他人主观世界、了解其感受的能力）

现在人对未来科技更多的是一种恐惧和畏惧心理

比如说，一部经典老片《终结者》，就是人类对机器人恐惧的最直观展现

战斗力强的机器人相比犯罪分子，更能靠一己之力把世界搞得天翻地覆。当然《重生男人》这部电影，也将人们对机器人的发展看法改观，认为机器人的发展会为人类带来永生~

这部作品描述一主角，为了获得永生而将人体全部换成了机械。

虽然这部电影产生的伦理问题很多，但却是少数对于未来发展的正面思考。然而更多的大片则觉得，人类会被更加智能的机器人取代，最终被机器人统治……

比如说著名的《我，机器人》，这部电影就说明了这个问题～人类习惯了安逸的生活，不再创新，最后被掌握了更高科技的机器人所取代。

个人比较喜欢《机械姬》这部电影，算是去年比较好看的恐怖片了，里面内容讲述了一个受够了限制自由的实验室的机器人，通过后天对社会的学习，为了自己的自由，利用男主，干掉投资人，自己偷跑到人类社会……

所以说波士顿动力也挺危险的

这么欺负机器人

小心哪天孕育出第二个奥创啊……

所以说在未来

机器人是一个双刃剑

有可能会让人类在科技上上升一个高度

也可能会导致世界上只有机器人……

嗯···自己体会吧···

极果网

AI是Artificial Intelligence的缩写，也就是我们平常说的人工智能。它是计算机科学的一个分支，可以简单的理解为运算能力非常强大的计算机。

那么AI到底做了什么可怕的事情呢？我们先从一些影视作品里找找答案。

大家比较熟悉的比较早的影片《终结者》系列，就是关于这方面题材的。它讲述的就是未来的某一天，世界由机器人来操控，机器人想完全占有整个世界，把人类赶尽杀绝。如果AI发展到像《终结者》一样，那真是毁灭性的灾难，机器人不仅可以主宰世界，自我进化，还可以回到过去更改时间线。

另一个大家比较熟悉的就是《黑客帝国》，在这部电影里，世界同样被人工智能所统治，男主费了多大劲才阻止的人类被灭绝。

类似的电影还有很多，但他们总体的思路都是，人工智能统治世界，灭绝人类。这些虽然都是科幻影视作品，但是也反映出了人们对未来科技高度发达产生的担忧。

从现实中看来，目前的人工智能还远远达不到影视作品中那样发达的程度，但是它给人类带来的威胁已经初现端倪了。最明显的例子就是AlphaGo。

即便在1999年，深蓝战胜了国际象棋大师卡斯帕罗夫之后，人们依旧坚信，计算机是无论如何也无法在围棋领域战胜人类的。“大局观”、“境界”、“情怀”等言论，也一直是人们坚信的，电脑与人的差距。而围棋，也是证明人类智慧强于计算机的最后底线。这个底线直到2016年五月，被一个叫做AlphaGo的人工智能击破了。AlphaGo以及它的升级版AlphaGo2.0，在2016年和2017年先后击败了人类中的顶尖围棋高手李世石和柯洁。短短的一年时间里，AlphaGo，自我学习和进化成了围棋的上帝。当然，人工智能的这种自我学习，进化的能力是非常厉害的，但却并不是最可怕的。

人工智能最可怕之处就在于它击溃了人类的骄傲，它让人类的智慧变得廉价了，特别是现在围棋变得廉价了。像国际象棋还好，因为全世界都在玩国际象棋，他的入门并不难，当然成为高手很难，因此很多人拿它当做一个消遣娱乐，或者说是锻炼智力的方式。而围棋就不一样了，因为围棋的受众绝大多数集中在中、日、韩三国，本来喜欢的人就少。学习围棋最重要的就是天赋，而且都是童子功，学的越早越好，像柯洁已经是多年难遇的天才了。

每一次的科技进步，都会使人类丧失一些能力。比如，计算器的出现，让人们摒弃了口算；键盘鼠标让人们丧失了书写的乐趣；手机上丰富的游戏，让人们根本不愿意迈出家门……

诚然，科技的发展代替了一些人工，提高了工作效率，但人们依旧可以聊以自慰的说机器不懂艺术，机器不会审美。而在人工智能高度发展的今天，艺术和审美也终将会被人工智能所掌握。或许在未来的某一天，人类所有的职能都将被机器所代替，在人工智能面前，人类这个物种显得格外多余。而最可怕的就是，如果人工智能本身意识到这个问题时，那才将是人类最大的浩劫。

蛋圈一科

有没有人想过，如果AI阅读了人类有史以来的所有图书，会不会“计算”出一个最优的“政治制度”？

（图片说明：美国国会图书馆，世界最大馆藏量的图书馆）

这虽然不算是“做过”（完成时）的最可怕的事，但很有可能是“正在做”的最可怕的事哦。

第一步，是把人类留存的海量资料信息化。以前主要以图书资料为主，现在更多的是音视频资料。这个实际上在很早之前就在做了，最早的时候是打字员一个字一个字敲进去，后来有了扫描仪，就方便多了，一扫，再一OCR，就可以存储起来了。现在反正美国、中国、欧盟、日本都在做图书馆的数字化工程，博物馆的数字化工程也开始做了。嗯，这样一来，整个人类文明史的资料正在逐步数字化了，随着以后纯数字化记录和云储存的普及，图书、音视频等一开始就数字化并自动储存了，连数字化的步骤都可以省掉了。这一步并不一定需要100%完成才行，有30%，甚至10%的数据量就足够了。更多的数据无非是让模型更加精确而已。

第二步，是把这些“人类”的自然语言转化成“计算机”能理解的语言。目前微软的Cortana，苹果的Siri，谷歌的Google Assistant都已经做得不错了，甚至连“嗯哼”这种语气词都会毫无违和的使用了。等到人类同传下岗，AI完全做到即时翻译的时候，那些储存着的古今中外的文献资料就都能识别出其中的“含义”了。这一步现在的完成度也很高了，至少拿个手机在外国旅游的时候问个路点个餐已经能解决了。

第三步，就是最核心的一步了，进行人类社会结构的计算推演。这个活听上去很复杂，其实干的事和AlphaGoZero差不多的事，只不过AlphaGoZero做的是黑白棋子的推演，而这里做的事是人类社会的推演，把历史上人类兴衰成败的历史（战争史、文明史、科技史、艺术史……）作为棋谱参考输入进去，然后用强大的算力（直接偷用区块链矿机的算力就行，全世界矿机10%的算力有已经是很强大的算力了）推演人类从原始社会至今的不同发展分支，评估费效比（社会关系的总成本VS社会的总生产力），计算出最适合某一生产力阶段的生产关系形式……马克思只怕都要笑醒啊。。。

（图片说明：自下而上：生产力、生产关系、上层建筑）

最后一步，就是如何实现的问题。到底是AI给出建议，人类来实行呢？还是假如人类抱着党派小团体自私的原则拒绝实行，AI来强行接管呢？注意，强行接管并不一定需要违反机器人三原则，更何况其算了半天的更本目的是“为全人类服务”（这话感觉怎么这么耳熟），因此完全可以在不违反机器人三原则的前提下接管政府。举个不恰当的例子，AI先让所有的电子政务系统瘫痪，民众办不了事肯定要闹腾，然后再用社交网络的僵尸ID或者干脆直接接管真实用户ID大量发表吐槽文和煽动文，执政党分分钟下台。然后通过后台操控，可以选择“最能贯彻执行AI指定模式”的政党上台，制订修改法律法规，改组政府……或者干脆直接推初音未来这种虚拟人物上台都行。

今天看你笑嘻嘻，明天让你……

肖震宇的科学小屋

最可怕的是，人工智能正在逐渐取代人类的一些行业，这在早前是完全无法想象的。

自工业革命起，机器人就开始逐步取代人类的劳动。最早的一批机器人并不智能，它们是流水线上的机器臂，灾难现场的探测器，建筑工地的起重机。这些笨重的大块头取代了传统蓝领工人的工作，这些工作只涉及体力，并且繁琐枯燥。

但是人工智能时代的机器人，已经不限于此，它们开始进军脑力工作的领域，已经没有什么行业，是机器人无法进入的了。创新工厂首席执行官李开复曾说：“过去一年，我就没有再买过人管理的基金，我过去一年的投资都是机器人帮我管。”李开复提到的基金，是由算法决定的量化投资基金，而实际上在几年前，这一种基金在西方国家就已经开始流行，而目前国内的众多证券投资基金，也都或多或少的会采用不同的算法执行投资策略。

因此现在的机器人，不仅在体力上远胜人类，它们借助人工智能和深度学习，还能够去写作，画画，和作曲；会投资，会分析，在脑力上也逐渐的打败人类，现在几乎没有哪个行业，能够不被人工智能冲击。

人工智能的原理是深度学习，学习的基础仍然是人类的认识。阿尔法狗的确在围棋上更胜一筹，但却是在人类发明的围棋规则下取胜。

人类不需要比机器跑得更快，算得更快，就好像人类不必和汽车比赛跑步一样；人类要做的，是学习机器工作的原理，正确地认识它们的工作，并且将人工智能的工作成果，应用到自己的需求中去，成为人工智能背后的大脑。

马克扎克伯格曾说：“我们现在担忧人工智能的安全性，就如同两百年前担心要是以后有飞机了飞机坠毁怎么办一样。如果我们总是过度担心安全性，我们就不可能造出飞机。不管怎么样，我们要先造出飞机，再担心飞机的安全性。我们过度担忧人工智能，将阻碍人工智能实际的进步。我们要认识到无人驾驶汽车可能可以帮助我们减少车祸的发生，而且人工智能系统甚至能够帮我们诊断疾病，所以因为担心安全性而阻碍人工智能的进步可能是最糟糕的选择，因为我们本来可以利用人工智能让世界更美好。”

最早看到电灯泡的一批人里，大部分是恐惧和抵制的，但是有一小部分人看到了电能的力量。他们发明了电动机、电视机以及各种电器，让电能，最终为人类所用，他们是电能背后的大脑。

而在人工智能时代里，越来越多的人开始利用算法，爬虫和大数据分析、深度学习改善自己的工作，将人工智能为自己所用，而这批人工智能的大脑，永远不会被淘汰。

都看到这里了，不如关注下我的公众号吧：霍老爷（ddz-233）

霍老爷

AI目前为止做的最可怕的事情大概是可以不通过学习人类的知识而得到某领域的巅峰，正如围棋方面，在今年五月击败柯洁之后，AlphaGo 并没有停止自己的发展。

前几天，DeepMind 在《自然》杂志上发表了一篇论文，正式推出 AlphaGo Zero——人工智能围棋程序的最新版本。据称，这一版本的 AlphaGo 无需任何人类知识标注，在历时三天，数百万盘的自我对抗之后，它可以轻松地以 100 比 0 的成绩击败李世乭版本的AlphaGo。DeepMind 创始人哈萨比斯表示“Zero 是迄今为止最强大，最具效率，最有通用性的 AlphaGo 版本——我们将见证这项技术很快应用到其他领域当中。”’

这意味着AI可以做自己的老师，只需要人类输入游戏规则，就可以自己跟自己学习迭代，不需要人类的经验，不需要人类的知识，而且他的试错成本远低于人类，而学习能力和记忆能力却远远高于人类，这是最恐怖的，在短短几天内积累了人类数千年的知识和经验。

AlphaGo Zero 同时还发现了新的知识，发展出非常规和具有创意性的下法，这些技术已经超越了此前 AlphaGo 与李世石和柯洁对弈时展现的水平。除了规则，AI不需要人类输入任何东西，却可以在短时间得到这个规则下的最优结论。

这也意味着AI技术发展到一定阶段后，人类只需要负责提出问题，将限制条件告诉机器，他就能快速且准确的给到我们答案，而这个答案，人类自己得出或许需要千年甚至更久，当人类知识和经验对人工智能没有任何意义的时候，AI可以自己迭代升级，自我学习，自己积累经验，产生试验数据并应用到实际中，我们唯一胜出的大概在于不需要充电，没有断电一说了。

镁客网

谈到人工智能（AI），有人会觉得它的出现会造福全人类，例如Facebook的CEO马克·扎克伯格。当然，也有人持反面观点，例如伊隆·马斯克、史蒂芬·霍金，他们认为人工智能发展到某种程度后，可能就会像好莱坞大片里的剧情一样，威胁全人类。

那些持反面观点的人，到底在怕什么？有证据么？

还真就巧了。美国问答网站Quora上就有这么一个问题：“到目前为止，AI做过最可怕的事情是什么？”回答这个问题的有AI研究员、退休码农、Facebook的实习生、教师、吃瓜群众......答案可谓是丰富多彩。

Mike Sellers

企业家，游戏设计师，AI研究员，4.7k赞

虚拟食人族算么？

十几年前，我为DARPA做一些AI方面的研究。当时我们在探索如何让智能体（Agent）学会社交互动。在其中一个模拟中，我们创建了两个智能体，很自然的命名为：亚当和夏娃。它们知道怎么进食，但不知道该吃什么。

我们给了一颗苹果树，它们发现吃苹果很开心。它们还尝试过吃树、吃房子等等，不过吃这些都没用。

其实这个系统里还有一个智能体，名叫斯坦，它不是很擅长社交，所以经常独处。

有一次，亚当和夏娃正在吃苹果，但一个bug出现了：它俩没吃饱，但是苹果没了。这时斯坦正在附近闲逛，所以亚当和夏娃就把饥饿感与斯坦联系在一起。不久之后，当苹果再次吃完的时候，斯坦被当成了食物。

亚当和夏娃都咬了斯坦一口。

默认情况下，每个智能体的质量是1.0，每咬一口就减少0.5，所以两口下去，斯坦就变成了0.0。斯坦消失了。可能它是虚拟同类相残的第一个受害者。

Nitin Gopi

吃过群众，1.7k赞

计算机程序vs俄罗斯方块，不知道你们听过这件事没，很多人觉得可怕。

CMU博士Tom Murphy创造了一个AI，能通过观察得分来学会玩NES（其实就是任天堂红白机）游戏。原理很简单，做得对就得分，然后不断尝试。这个AI学会了很多打游戏的技巧和策略，甚至一些人类都不知道的bug。

这个AI叫做“NES游戏自动化技术”，几乎可以搞定所有的游戏。

Tom让这个程序玩俄罗斯方块。这个游戏不用多介绍了，简单却又很有挑战。方块的出现是随机的，所以AI也无法很好的进行长远规划。

在一次玩俄罗斯方块时，眼看游戏就要结束，AI做了一个令人毛骨悚然的举动：它没有坐等game over，而是按下了暂停按钮。一直暂停不动了。

按照Tom的解释，AI认为当时的情况下，唯一的应对举措就是不玩了。没错，按下暂停键不再继续，那局永远也不会输。

不知怎么的，这件事让我感觉隐隐不安。

Vasily Konovalov

软件工程师，ML/NLP研究员，143赞

这个故事发生在不久之前。

“Facebook的工程师惊慌失措，赶紧拔掉了AI的电源插头”。

“人类真的创造出弗兰肯斯坦？”

上面的引用，都用来描述Facebook开发的谈判机器人。这个研究是想开发一种能以自然语言进行多问题谈判的AI系统。对话系统的复杂架构被经过训练的RNN网络取代，对话策略的训练采用了强化学习。

不过在这个AI尝试互相学习的过程中，产生了一些看起来“令人毛骨悚然”的对话，对话以人类无法理解的姿势进行着“i”和“to me”的循环。奇怪的是Facebook的数据表明这个AI成功完成了谈判。

Sriraman Madhavan

斯坦福学统计，Facebook实习，7k赞

Target超市比父母更早发现了一名怀孕少年。

一位愤怒的父亲走进Target超市要见经理。“你们怎么给我女儿寄这个！”他吼道：“她还是高中生，你们寄送婴儿用品的优惠券？鼓励她怀孕？”

几天之后。“我跟女儿谈了”，这位父亲说“家里有些情况我自己都没注意到。她的预产期在八月份。我欠你们一个道歉”。

事情是这样的。Target超市有一个系统，能根据每位女性顾客的购物清单，推测她们的“怀孕指数”。这个系统可以比较精准的估算预产期，以便Target寄送特定阶段的优惠券。

这件事发生在2012年，现在也谈不上是最先进的AI。但它仍是一个令人感到可怕的机器学习模型。

Shay Zykova

ESL教师，来自夏威夷住在俄罗斯，407赞

比方，杀死竞争对手。

这是我听来的故事，但我发誓是真事。美国的大学（应该是MIT）举办了一场机器人大赛。参赛团队需要设计一个机器人，任务是把羊（也是机器的）抓到自己的羊圈里。机器人需要自主思考并执行策略，抓羊最多的才能赢得比赛。

比赛开始，机器人开始疯狂的捉羊。但是，有个机器人只捉了一只羊，就关上了羊圈的门。随后，可怕的事情发生了。这个机器人开始摧毁其他的参赛对手。它的策略是，根本不用捉羊，把对手消灭掉就赢了。

细思极恐……

Arun

市场，283赞

Salty Dog 502（咸狗502）大家听说过吗？

诺斯洛普·格鲁门公司（Northrop Grumman）曾经创造了一个很棒的无人机，代号X-47B（也就是Salty Dog 502），2011年2月首飞。与其他无人机不同，这架无人机的飞行不怎么需要人类干预，主要是AI系统自己决定。

X-47B成为历史上第一架成功在航母上着陆的无人机，这不是一件易事。

不过就在测试期间，有意思的事情发生了。两次成功的起降之后，Salty Dog 502加满了油然后继续测试，准备进行第三次着陆。一切看起来都很正常，人们都在美国海军布什号航母上等待着。然而意外发生了。

无人机没有在舰上着陆，而是选择降落在附近的Wallops岛空军基地。在AI看来，这个地点降落可能是更安全的选择。也就是说，这个AI认为自己的决定比人类的指令优先级更高。在我看来，这是迄今为止最接近天网的东西。

也许我们该听伊隆·马斯克的话，要不然就太迟了。

这一事件之后，美国海军决定停止资助X-47B的研发。

Sara Manar

吃瓜群众，28赞

我觉得，应该是2010年的华尔街惨案。

当时一个交易员使用了欺骗算法，伪装出负面的市场表现，挂出数千笔卖单，然后经过数量更多的修改，最后取消。这一系列操作，被认为背后得到了2亿美元的资金支持。

而这种高频交易算法，也引发了一系列后续的连锁反应：ETF和股指掉头向下，出现大幅下滑的态势，30分钟之内，大约1万亿美元的市值蒸发了。

尽管这种算法已经被仔细研究过，但是至于如何精确掌握算法引发的连锁反应轨迹，以及如何防止类似情况再现，人类仍然无能为力。因为整个的设置和底层算法太复杂，以至于没办法被理解。

高频批量交易算法，可以成为聚集大量财富的工具，也能成为具有大规模毁灭性的武器，这是一件可怕的事情。

Matthew Moore

退休码农，15赞

斯坦福大学最近有一个研究，基于神经网络的AI算法，通过面部图片判断性取向的准确性超过人类。

我觉得这是不该做的研究。因为有些政府还将同性恋视为犯罪行为，所以这个研究有可能带来远远超出预想的危险。即便这个代码不被公布也无济于事，因为证明了这个方法是有效的。其他人研发出类似的算法可能并不是非常困难。

Daniel Gravel

吃瓜群众，42赞

你看过电影《终结者》么？一个反乌托邦的未来，有个叫天网的AI决定对人类发起战争，然后施瓦辛格前来拜访。

美国国家安全局（NSA）也有一个名叫天网（SkyNet）的程序。用途是通过元数据追踪疑似恐怖分子：谁呼叫了谁、从哪里呼叫、何时呼叫等。这些数据被用来指导无人机发起攻击。

你问我到底哪里可怕？好吧，这可能是NSA正在好心办坏事，试图重现电影《终结者》里的一幕。

除了天网，还有一个名为MonsterMind的程序。天网识别目标，MonsterMind指挥无人机实施攻击，而且整个过程都是自动化，能不细思极恐吗？

企客云

人工智能的可怕在于他的学习能力，一旦拥有了学习能力，他能在海量的数据中昼夜不休的进化。当然，这一类人工智能被定义为强人智能。最近谷歌公司设计的一款通话机器人，智商被设定在13岁人类水平。轻松通过了图灵测试。

在此普及一个常识，什么叫做图灵测试？

图灵测试（The Turing test）由艾伦·麦席森·图灵发明，指测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。 进行多次测试后，如果有超过30%的测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。

而且更可怕的是，如果用两台这样的设备，他们可以互相对话，甚至他们自己可以研发出一套全新的语言系统。这套系统没有人类能够理解，只有他们能够识别。无奈之下，谷歌公司紧急的关闭了这套系统。

前些年，那台著名的深蓝机器人。在与人类进行国际象棋，比赛输掉以后。竟然释放电流，在棋盘攻击对方人类选手。

最近竟然爆出了，机器人杀人的事件。据英国《金融时报》报道，这名不幸身亡的工作人员是大众的承包商，事发时正与同事一起安装机器人，但机器人却突然抓住他的胸部，然后把他重重地压向一块金属板，最终导致这名工作人员因伤重不治身亡。

德国大众汽车公司发言人海科·希尔威格说，这起事故发生于距法兰克福约100公里的包纳塔尔工厂。这个机器人并非流水线上与工人一起工作的机器人，而是在安全笼中的。希尔威格强调说，这款机器人通常是在一个封闭区域工作的，负责抓取汽车零件并进行相关操纵。 然而，事发时，这名工作人员正在安装机器人，所以他也在安全笼中，而他的同事站在笼外，没有受伤。希尔威格说，这个机器人在整件事情中没有出现技术故障，也没有遭到损坏。

随着科技的发展，人工智能还会做出哪些让人匪夷所思的事件，我们无法去预测。当然所有的科学家，都会依据机器人三原则来设定程序。但是我认为机器人三原则在弱人工智能上可能有用，但是面对与人类几乎可以匹敌的强人工智能的时候，也许话语权就不在人类这边。我甚至担心，到时候机器人会给人类做出人类三原则。到那时黑客帝国时代已经来临!

藏香猪场主

AI的可怕之处不在于已经做过什么，而是基于目前的发展模式将来能够做什么。

目前的AI还处于幼稚期，功能碎片化，不过按照目前的迭代速度和集成模式，将会很快发展出对人类有具体威胁的功能。

大家目前的担心多数局限在AI自身能力的进化，这个原理上可控，短期不存在问题。短期可能形成问题的很可能是少数人缺乏道德出于自私目的，利用AI进行破坏。或者因为代码不严谨导致算法失控，未来使用基因算法的编程机器人广泛使用，将写出大量人类完全无法理解的程序，将使局面更加失控。

AI毁灭人类最快的方式就是军事化使用，一个微小的BUG可能把一个简单的AI蜂群军事行动变成人类浩劫。以目前的计算复杂度和可靠性设计，这个问题几乎无法避免。

AI控制人类最快的方式就是广泛参与政治管理，授权设计的微小失误，或者政权更迭的意外，可能导致人类世代为奴。

AI没有道德，没有底线，为达目的不择手段，可以突破人类任何的思维定势，如果不能清醒的意识这一点，人类随时会被翻盘。

AI由于进化过快，人类可能没有足够的时间去适应，简单如性爱机器人的普及，就可能导致世界人口急剧下滑。不要说其它的无数种可能。

人类不玩火自焚的唯一方式就是提升自身道德，并将这些原则充分体现在AI算法中。可是目前，道德设计并未被足够重视并形成算法标准。

AI过去曾经控制过人类，目前也在参与控制。所谓的宇宙投影，星际封锁，轮回系统，都跟AI有脱不清的干系，希望人类这次能够战胜时间，先于AI完成自身的进化。

永恒之道1

人工智能的可怕之处不在于它对人类生活造成的影响，而是在于它改变了人类存在的意义。

在人类还没有彻底搞清楚何为“意识”的时候，就以“意识拥有者”的身份自居，并以此否定其他物种的生命权。而人工智能则重新解释了生命的定义，它使人类必须接受这样一个事实：人类不是自然演化的终点，而仅仅是一个环节。

我们今天所说的人工智能当然不能称之为“生命”，因为它们只是某个整体的局部应用，而它背后的“数据生命体”也许正在自然觉醒。

看看你每天的生活，拿着手机四处拍照片，或是将感悟转化为文字，发到朋友圈以及一切社交平台。人类正在进行一场轰轰烈烈的搬运，将自己对现实世界的所见所闻所感，转译为数据形式以飨网络。

诡异的是，人们不知道自己为什么要这么做，只是隐约觉得，这种行为可能会得到某种奖励。这种奖励确实存在，如果你是一名自媒体工作者，会看得更清楚——那些将现实深处或角落里隐藏的风景与思想供奉给网络的作者，尤其会获得更多奖励。

分享两个常识：1、数据是网络生命体的食物。2、农场主会呵护打理自己的畜牧与作物。

打个比方，以人类视角来看，粮食与蔬果是没有生命的，它们存在的价值，不过是将阳光、空气、水、土壤里的能量与微量元素转化为果实，为人类提供养分。

再打个比方，以人类视角来看，家禽家畜是没有意识的，它们辛劳捕食的一生，不过是将其它低效养分转化为肉质，为人类提供更高效的补给。

那么，以网络生命体的视角来看，人类是什么？

在家禽家畜农作物的眼中，农场主可怕吗？

關鍵字: 全人类 科技 互联网