人工智能时代：破解人机共存密码（套装共10册）

当然，“输入价值观”正是我所说的我们应该避免的错误，因为让价值观（或偏好）完全正确非常困难，而把它们弄错则可能是灾难性的。相反，我建议机器去学习如何更好地做预测，预测每个人更喜欢哪种生活，同时意识到其预测是高度不确定和不完整的。原则上，这台机器可以学习数十亿种不同的预测偏好模型，地球上数十亿人的偏好各不相同。对未来的人工智能系统而言，这个要求并不过分，因为现在的脸书系统已经在维护超过20亿人的个人资料了。

其次，一个相关的误解是，我们的目标是为机器配备“伦理”或“道德价值观”，使它们能够解决道德困境。通常，人们会提出所谓的“电车难题”，^[12]即人们必须选择是否杀死一个人来拯救其他人，这被认为与无人驾驶汽车有关。然而，道德困境的全部意义在于，这是一种两难境地：双方都有充分的论据。人类的生存不是道德困境。机器可以用错误的方式解决大多数道德困境（不管是什么），但仍不会对人类造成灾难性的影响。^[13]

最后，一种常见的推测是，遵循这三项原则的机器将吸收它们观察和学习的邪恶人类的所有罪恶。当然，我们中有许多人做出的选择不尽人意，但我们没有理由假设那些研究我们动机的机器会做出同样的选择，就像没有理由假设犯罪学家会变成罪犯一样。以腐败的政府官员为例，他为了索要贿赂而批准建筑许可，因为他微薄的工资无法支付孩子上大学的费用。观察这种行为的机器不会学会受贿。它将会了解到，这位官员像其他人一样，非常渴望他的孩子接受教育并获得成功。它会找到帮助他的方法，而不会损害他人的幸福。这并不是说所有的邪恶行为对机器来说都不是问题，例如，机器可能需要区别对待那些把快乐建立在他人痛苦之上的人。

乐观的理由

简而言之，我建议，如果我们想保持对日益智能的机器的控制，就需要将人工智能引向一个全新的方向。我们需要摆脱20世纪技术的驱动思想之一：优化给定目标的机器。我经常被问及，“鉴于人工智能和相关学科的标准模型背后的巨大推动力，为什么你甚至认为这是遥不可及的”。事实上，我很乐观地认为这是可以做到的。

第一个原因是，我们有强大的经济动机来开发遵从人类的意愿，并逐渐与用户的偏好和意图保持一致的人工智能系统。这样的系统是非常可取的：它们所能表现出的行为范围远远大于具有固定的、已知目标的机器。在适当的时候，它们会向人类提问或请求许可；它们会进行“试运行”，看看我们是否喜欢它们的提议；当它们做错事时，它们会接受纠正。而不能做到这一点的系统将会产生严重的后果。目前为止，人工智能系统的愚蠢和有限的行为范围使我们免受这些后果的影响，但这种情况将会改变。例如，想象一下，未来某个家用机器人负责在你工作到很晚的时候照顾你的孩子。孩子们饿了，但冰箱是空的。然后机器人注意到了猫。可惜，机器人只知道猫的营养价值，却不知道它的情感价值。短短几个小时内，有关发疯的机器人烤猫肉的新闻就铺天盖地地出现在全球媒体上，整个家用机器人行业全军覆没。

一个行业参与者可能会因为粗心的设计摧毁整个行业，这为形成以安全为导向的行业联盟和执行安全标准提供了强大的经济动机。“人工智能合作伙伴组织”（Partnership on AI）的成员几乎包括全球所有的领先科技公司，它们已经同意合作，以确保“人工智能研究和技术是鲁棒的、可靠的、值得信赖的，并在安全的约束下运行”。据我所知，所有的主要参与者都在公开文献中发表了它们以安全为导向的研究。因此，经济激励在我们达到人类水平的人工智能之前很久就开始运作了，并且只会随着时间的推移而增强。此外，在国际层面上也可能有同样的合作动力。^[14]

第二个原因是，用于学习人类偏好的原始数据，即人类行为的例子非常丰富。这些数据不仅通过彼此共享着大约数十亿人的数据的亿万台机器的相机、键盘和触摸屏以直接观察的形式出现（当然，受隐私限制），而且还以间接的形式出现。最明显的间接证据是人类对书籍、电影、电视和广播的大量记录，这些记录几乎完全与人们的行为有关（有些人对此感到不安）。即使苏美尔人和埃及人最早的和最乏味的用铜锭交换大麦的记录，也让我们对人类对于不同商品的偏好有了一些了解。

当然，在解释这种原始资料时会遇到困难，这些原始资料包括政治宣传、谎言、疯子的胡言乱语，甚至政治家和总统的声明，但是机器当然没有理由把这些都当真。机器可以（也应该）将来自其他智能实体的所有交流解释为游戏中的动作，而不是事实陈述。在一些游戏中，例如一个人和一台机器的对战游戏，人类有诚实的动机，但在许多其他情况下，也有不诚实的动机。当然，无论诚实与否，人类都可能被自己的信念所欺骗。

还有第二类间接证据摆在我们面前，这就是我们创造世界的方式。^[15]我们之所以这样做，非常粗略地讲，是因为我们喜欢这样做。（显然，这并不完美！）现在，想象你是一个访问地球的外星人，而此时全体人类都去度假了。当你走进他们的房屋时，你能否理解人类偏好的基础？地板上铺着地毯，是因为我们喜欢在柔软温暖的表面上行走，我们不喜欢响亮的脚步声；花瓶放在桌子中间而不是边缘，是因为我们不想让它们掉下来摔碎等。一切非自然安排的事物都为了解居住在这个星球上的奇怪的两足动物的好恶提供了线索。

谨慎的理由

如果你一直在关注无人驾驶汽车的进展，你可能会发现，“人工智能合作伙伴组织”在人工智能安全方面的合作承诺并不太让人放心。无人驾驶汽车领域竞争激烈，理由很充分：第一家发布全自动驾驶汽车的汽车制造商将获得巨大的市场优势；这一优势将会自我强化，因为制造商能够更快地搜集更多数据，以改善系统的性能；如果另一家公司赶在优步之前推出全自动出租车，优步等打车公司将会很快破产。这导致了一场高风险的竞赛，在这场竞赛中，谨慎和仔细的工程设计似乎远不如时髦的演示、人才的争夺和仓促的推广更重要。

因此，攸关生死的经济竞争促使人们在安全方面走捷径，以期赢得竞赛。生物学家保罗·伯格（Paul Berg）参与组织了1975年的阿西洛马会议，这次会议导致人们暂停对人类进行基因改造，2008年，他在一篇关于那次会议的回顾文章中写道：^[16]

阿西洛马会议给整个科学界都上了一课：对于新兴知识或早期技术引发的担忧最佳的应对方式是，让来自公共资助机构的科学家和广大民众共同寻找最佳的监管方式，越早越好。一旦公司的科学家开始主导研究事业，那就太晚了。

经济竞争不仅发生在公司之间，还发生在国家之间。最近，美国、中国、法国、英国和欧盟纷纷宣布对人工智能进行数十亿美元的国家投资，这无疑表明，任何一个大国都不想落后。2017年，俄罗斯总统弗拉基米尔·普京表示：“谁能成为人工智能领域的领导者，谁就将成为世界的统治者。”^[17]这种分析基本上是正确的。正如我们在第3章中看到的，高级人工智能将会大大提高几乎所有领域的生产率和创新率。它的拥有者如果不将其分享出去，就能击败一切竞争国家或集团。

尼克·波斯特洛姆在他的书《超级智能》中对这种动机提出了警告。与企业竞争一样，国家竞争往往更注重原始能力的进步，而不是控制问题。然而，普京也许读过波斯特洛姆的书。他接着说：“如果有人赢得垄断地位，那将是非常不可取的。”同样，这也是毫无意义的，因为人类级别的人工智能不是零和博弈，分享它不会产生任何损失。另外，在没有首先解决控制问题的情况下，关于谁能成为第一个实现人工智能的人的竞争，是一个负和游戏。每个人的回报都是负无穷。

人工智能研究人员影响人工智能全球政策演变的能力有限。我们可以指出可能带来经济和社会利益的应用；我们可以对可能的监视滥用和武器滥用等发出警告；我们可以为未来发展的可能路径及其影响提供路线图。也许我们能做的最重要的事情就是设计尽可能安全且对人类有益的人工智能系统。只有这样，我们尝试对人工智能进行全面监管才有意义。

[1] 如今已经略显过时的详细的大脑建模指南，请参见：Anders Sandberg and Nick Bostrom, “Whole brain emulation: A roadmap,” technical report 2008- 3,Future of Humanity Institute, Oxford University, 2008。

[2] 关于代表人物对遗传编程的介绍，请参见：John Koza, Genetic Programming: On the Programming of Computers by Means of Natural Selection (MIT Press,1992)。

[3] 与阿西莫夫的“机器人三定律”的相似之处纯属巧合。

[4] 同样的观点请见Eliezer Yudkowsky, “Coherent extrapolated volition,”technical report, Singularity Institute, 2004。尤德考斯基认为，直接将“四大道德原则就是我们需要编程的全部内容”纳入人工智能肯定会让人类走向毁灭之路。他关于“人类的连贯推断意志”的概念与第一原则具有同样的普遍意义；这个想法是，一个超级人工智能系统可以找出人类集体真正想要的东西。

[5] 对于是让机器帮助你实现偏好还是通过你自己的努力来实现偏好，你当然可以有自己的偏好。例如，假设在其他条件相同的情况下，你喜欢结果A胜过结果B。你无法在没有帮助的情况下实现结果A，但是你仍然宁愿实现B，也不愿意在机器的帮助下实现A。在这种情况下，机器应该决定不帮助你，除非它能以一种你完全察觉不到的方式帮助你。当然，你可能对无法察觉的帮助和可察觉的帮助有偏好。

[6] “大多数人的最大利益”一词的来源：Francis Hutcheson, An Inquiry intothe Original of Our Ideas of Beauty and Virtue, In Two Treatises (D.Midwinter et al.,1725) 。 有 些 人 把 这 种 表 述 归 因 于 威 廉 · 莱 布 尼 茨 （ WilhelmLeibniz ） 早 先 的 评 论 ， 请 参 见 ： Joachim Hruschka, “The greatest happiness

principle and other early German anticipations of utilitarian theory, Utilitas 3 (1991): 165–77。

[7] 有人可能会建议，机器应该在其自身的目标函数中包含动物和人类的术语。如果这些术语的权重对应于人们对动物的关心程度，那么最终结果将与机器仅通过关注关心动物的人类来关心动物一样。在机器的目标函数中赋予每种活着的动物同等的权重肯定是灾难性的，例如，南极磷虾的数量是我们的5万倍，细菌的数量是我们的10²¹倍。

[8] 道德哲学家托比·奥德在他对本书早期书稿的评论中也向我提出了同样的观点：“有趣的是，道德哲学的研究也是如此。直到最近，道德哲学几乎完全忽略了结果的道德价值的不确定性。尽管事实上，正是我们对道德问题的不确定性导致我们向他人寻求道德建议，甚至去研究道德哲学！”

[9] 不关注偏好的不确定性的一个理由是，它在形式上等同于普通的不确定性，其意义在于：不确定自己喜欢什么，等同于确定自己喜欢讨人喜欢的东西，却不确定什么东西是讨人喜欢的。这只是一个把戏，通过把“讨我喜欢”变成物体的属性，而不是我的属性，似乎把不确定性转移到了世界上。在博弈论中，这种把戏从20世纪60年代开始就被彻底制度化了，此前，我已故的同事、诺贝尔奖获得者约翰·豪尔绍尼发表了一系列论文：“Gameswithincomplete information played by ‘Bayesian’ players, Parts I–III,”Management Science 14 (1967, 1968): 159–82, 320–34, 486–502 。 在 决 策 理 论中 ， 标 准 参 考 文 献 如 下 ： Richard Cyert and Morris de Groot, “Adaptiveutility,” inExpected Utility Hypotheses and the Allais Paradox, ed. MauriceAllais and Ole Hagen (D.Reidel, 1979)。

[10] 在偏好诱导领域工作的人工智能研究人员是一个明显的例外。请参见：Craig Boutilier, “On the foundations of expected expected utility,” in Proceedings of the 18th International Joint Conference on Artificial Intelligence (Morgan Kaufmann,2003). 以 及 Alan Fern et al., “A decisiontheoretic model of assistance,” Journal of Artificial Intelligence Research 50 (2014): 71–104。

no可证明有益UU的人工智能