不久前谷歌与 OpenAI 公司、斯坦福大学和伯克利大学联合发表一篇题为《AI 安全的具体问题》的论文，猜想研究人员在研发和使用 AI 过程中可能遇到的具体问题。谷歌研究(Google Research)的 Chris Olah）周二则在一篇博文中阐述了开发出更智能、更安全人工智能的五大规则。

ITle="]ISS}SI0YQYC~E}Ap~W42`3.png" src="/d/file/IT/2016-07-30/ea025fa07c2c30cc4418f9e7cc6b9519.png" alt="http://static.cnbetacdn.com/article/2016/0622/5600c03d660756c.png" />

Olah 在博文中指出：这些都是具有前瞻性的、长期的研究问题这些现在看起来可能是小问题，但对未来系统则至关重要。

Olah 提出的五个规则是：

避免负面效应：AI 在完成一组任务时不应该被周围环境打扰。

避免奖励黑客： AI 应该妥当地完成任务，而不是借助一些迂回的方法。

可扩展的监督： AI 不需要接收不断的反馈或有效的输入。

安全探索：AI 在学习时不应伤害自身或环境。

鲁棒性到分布式的转变： AI 应该能够识别出全新的环境，并在新环境中有效地完成任务。