当今的人工智能被称为窄AI（或弱AI），因为它被设计来执行的任务范围较狭窄（例如，仅执行面部识别，或只进行互联网搜索，或仅驾驶汽车）。虽然窄AI能在其特定的任务上超越人类（如下棋或解方程，AGI在几乎所有认知任务上超越人类），然而许多研究人员的长期目标是创建普适AI（AGI或强AI），而这方面的研究成效正日益显著。
最近Facebook的人工智能实验，两个机器人开始用自己的语言交流。聊天机器人Alice和Bob在实验中讲英语转化成了一种更易于他们沟通的语言，而这种语言只有他们自己能理解。
随后，Facebook关闭“失控”AI系统，机器人发展出人类无法理解的语言等类似这样的标题占据各大科技媒体头条，引发了某种程度上的舆论恐慌。然而，实际情况是这样的：
Facebook人工智能研究院（FAIR）想要训练一个聊天机器人，让它学会和人谈判，于是他们人工智能系统开发了神经网络结构，这个结构叫做“生成式对抗网络”（Generative Adversarial Networks，简称GAN）。
研究人员希望机器人可以带着“目的”和人类对话。但是他们在为系统设置激励条件时， 虽然告诉了机器人“请用英文”，但忘了告诉它们“请用英文语法”。换句话说，如果系统中编写针对英语语法的奖励机制，系统就会偏向于更符合英语语法的语言，也就不会出现现在这种情况。Facebook并没有“关掉”这个系统，而是重新设定了正确的激励，修正了机器人的行为。
虽然Facebook AI系统并未“失控”，机器人之间也还不能真正用自己的“大脑语言”做到自行对话聊天，但我们可以看到的是，机器人越来越智能到令人不安，而未来确实近在咫尺。
这些年，很多类型的机器人正在被不断制造出来，许多你无法想象的工作内容，具有高度人工智能的机器人都能胜任。今年的人机较量中，人工智能演示了如何用机器人代替律师，并且击败了来自剑桥大学的100名法律系高才生；AI机器人从围棋、翻译、医疗到证券、财务、工业、法律等，一次又一次成功征服人类领域。
Facebook创始人马克·扎克伯格认为，人工智能将威胁人类，你对人工智能的发展也恐慌吗？
人工智能：
有意或无意造成危害的潜力
在好莱坞科幻电影中不乏这样的片段：人工智能机器人逾越了他们本该坚守的道德界限，袭击甚至试图毁灭人类。相反的是，大多数研究人员同意，一个超智能AI不可能产生人类的情感，如爱或恨。他们也认为人们没有理由期望AI有意识地趋善向恶。
如果我们成功创造了能在所有认知功能上超过人类的强AI，将会发生些什么？设计更有智慧的AI系统本身就是一个认知任务。这样的系统有潜力执行递归式的自我完善，触发智能爆炸，通过发明革命性的新技术，这样的超级智慧可以帮助我们消除战争，疾病和贫困，远远超过人类的能力。
但是另一方面，当考虑AI如何成为风险时，我们也意识到人工智能系统具有有意或无意造成巨大危害的潜力。专家认为有两种情况最有可能发生：
AI被设计执行毁灭性任务：自驱动武器（autonomous weapon）是为杀戮而生的人工智能系统。若落入恶人手中，这些武器很容易便可造成大量伤亡。此外，AI军备竞赛也可能无意中引发AI战争，导致大量伤亡。为了避免被敌对势力从中阻挠，这些武器的“关闭”程式将被设计得极为复杂，因而人们也可能对这种情况失去掌控。这种风险虽然也存在于窄AI（narrow AI）中，但随着AI智能和自驱动水平的提高，风险也会跟着增长。
人工智能自诞生之日起，应该作为改善改进人类生活的工具被使用，这是积极向上的层面和影响，但是如果有不法分子利用机器人开展违法活动时，我们又该如何自处？随着各大领域的机器人被开发面世，武器型机器人似乎距离我们并不远。
AI被开发进行有益的任务，但它执行的过程可能是破坏性的：这可能发生在当我们尚未完成人类和AI目标的全方位对映（fully align），而这并非易事。试想，如果你召唤一辆智能车将你以最快速度送到机场，它可能不顾一切地严格遵从你的指令，即使以你并不希望的方式——你可能因超速而被直升机追逐或呕吐不止。我们对高级AI的担忧并非在于其可能产生恶意，而是它可能达到的能力。机器人不像人类，感官和动作都通过大脑相连，机器人即使能看到周围的环境，也很难理解自己的行为会对周围对象造成什么影响。
我们可以允许AI做出什么样的决定？
人类在任何时候都应该控制机器的决定吗？什么时候合适由机器接管？怎么帮助人工智能尽可能多地造福于人们？
我们大多数人都允许谷歌地图选择到一个新地点的最佳路线，但是你准备好让你的车为你选择目的地了吗？汽车可能会认识到你的最终目标是吃东西或购物或跑腿，但大多数时候，我们有特定的商店或餐馆想去，却不希望车辆为我们作出这些决定。
更多的是我们有意识地选择让机器做出什么具体决定。比如说，人类使用导航机器人辅助走路，可由机器人自行决定动作的迈出方向、角度，及脚步的着地方式，只要人类感觉舒适就行。
那么更具挑战性的决定呢？当你拥有的机器比‘往哪里迈出下一步’做出更复杂、更重要的决定时，当你拥有一台能够以开放、灵活的方式运行的机器时，你如何在不授权任何事情的情况下，将任何事情委派给他人？
“AI系统能做出什么样的决定？”像这样的问题不容易解决。每个人都同意这个人类控制的问题，会引出人工智能设计面临的一些最具挑战性的问题。你会有系统想为你做一些你不想让他们做的事情，或者你不同意系统正在做某事的情况。比如武器应该允许选择谁来杀人吗？如果是这样，他们是如何做出选择的呢？这是一个有趣的问题，因为不清楚违反这个规则意味着什么。
AI常常被比作一个孩子，我们害怕，也不愿意给AI机器过多的控制，除非它被证明是安全可靠的。人工智能系统可能在地图、金融交易和电网运行方面赢得了我们的信任，但有人质疑这种趋势是否会随着AI系统变得更加复杂，有人担心若是继续下去的话人类的安全和福祉或面临更大的风险。马云曾说过，人工智能或引爆世界大战。
我们能打造不会失控的人工智慧吗？
由于AI有可能变得比人类更聪明，但我们并没有确实的方式来预测它的行为将会是如何。对于AI的发展可能衍生出什么后果，我们不能把过去的技术发展作为参考，因为我们从来没有创造出任何能够在智慧上超越人类的科技。
当下，AI技术也有许多连顶尖专家都无法达到共识的争议，例如：AI对就业市场未来的影响; 类人级别的AI是否/何时会被开发;AI开发是否会导致智力爆炸;以及这是我们应该欢迎还是恐惧的事情。当人工智能变得比人聪明的时候，我们如何解决控制问题？如果人工智能比我们更了解世界和我们的偏好，AI会为我们做出所有的决定会更好吗？
未来可怕么？希望在未来，有朝一日每个机器人自我觉醒后，仍能记得对人类好。
