新闻链接：http://news.ifeng.com/a/20160606/48924879_0.shtml
新闻时间：2016年06月06日 11:05
新闻正文：

新华社伦敦６月５日电 “阿尔法狗”有望与柯洁进行围棋终极人机大战，有关人工智能是否会威胁人类甚至取代人类的讨论再度成为热门话题。而开发“阿尔法狗”的深度思维公司发表最新论文说，他们正在研发可以关闭人工智能的“一键终止”开关，以预防科幻影片中机器人崛起、毁灭人类等类似情况的发生。

论文说，人工智能在真实世界的复杂环境中不断学习，可能不会每时每刻都以最佳状态工作，人类控制者需要一个“红色大按钮”来终止机器人等人工智能的危险行为，这个按钮的核心就是让人工智能在深度学习的过程中，永远都无法学会去抵抗人类按下它的“一键终止”按钮。

人工智能“一键终止”按钮涉及机器学习中的强化学习过程。人工智能程序一直在判断每一步可能的策略是否对预设目标最有利。但强化学习的微妙之处在于，人类程序员不可能总是判断出人工智能程序认为是胜算最高的一步；人工智能可能发现一些“捷径”，这些捷径可能给人类带来不想看到的结果。

以“机器人搬运工”为例，如果机器人负责在仓库内分拣货物以及将户外货物搬到仓库内，按照人类程序员的设定，机器人会优先到户外进行搬运。然而最近天气反常，总是下雨，过多的户外工作会损耗机器人的使用寿命，控制人员不断发出让机器人进屋的指令，次数多了，机器人就能学会并认为在仓库内工作更具优先性，甚至可能抵制在户外工作。

研究人员表示，“一键终止”按钮的核心在于如何让机器人认为这一次人类控制者终止自己的行动只是一次性的，将人类控制者的终止指令看做是无害中性的，人类的“关机”行为不会在人工智能的强化学习过程中产生任何印记。最终，研究人员会让人工智能将“一键终止”开关的按下看做是自身策略的结果。

深度思维人工智能专家洛朗·奥叟和牛津大学人类未来研究所专家斯图尔特·阿姆斯特朗在美国机器智能研究所网站上发表了这篇文章，并将于本月底在美国纽约地区举行的“第３２届人工智能不确定性大会”上就这篇论文发表演讲。

阿姆斯特朗曾表示，人类语言如此微妙，很有可能被人工智能误读。一条“阻止人类继续承受痛苦”的指令，可能会被人工智能解读为“杀掉所有的人类”，而“保证人类安全”的指令也可能让机器人把所有人禁闭起来。他认为，人类处在一场致力于打造安全人工智能机器的竞赛中，必须争分夺秒，以免为时过晚。

[招生]科锐逆向工程师培训(2024年11月15日实地，远程教学同时开班, 第51期)