人工智能时代：破解人机共存密码（套装共10册）

074 一种不同的

一旦怀疑论者的论点被驳斥，所有的“但是……但是……但是……”都得到了回答，此时的下一个问题通常是：“好吧，我承认有问题，但是你没有解决方案，对吗？”错，有解决方案。

让我们提醒自己手头的任务：设计高度智能的机器，让它们帮助我们解决难题，同时确保这些机器的行为永远不会让我们感到非常恼火。

幸运的是，这个任务并不是给定你一台高度智能的机器，让你找出控制它的方法。如果任务是这样的，我们就完蛋了。一台被视为黑盒子的、已成现实的机器，没准儿是从外太空来的。我们能控制一个从外太空来的超级智能实体的概率几乎为零。有这样一些相似的方法可以创建人工智能系统，比如全脑模拟，^[1]即创建增强的人脑电子副本，或者基于程序的模拟进化的方法，^[2]但我们无法理解这些方法的工作原理。关于这些提议，我就不多说了，因为它们显然是馊主意。

那么，过去人工智能领域是如何接近“设计高度智能的机器”这一部分任务的呢？与许多其他领域一样，人工智能领域采用了标准模型：我们构建优化机器，将目标输入其中，然后它们就会运行。当机器愚蠢且行动范围有限时，这种方法很奏效。如果你输入了错误的目标，你完全有机会可以关闭机器，修复问题，然后再试一次。

然而，随着根据标准模型设计的机器变得更加智能，以及它们的行动范围遍及全球，这种方法越来越不可行。这些机器将会追求它们自己的目标，无论目标错得多么离谱；它们将会抵制关闭它们的企图；它们将会获得有助于实现目标的一切和全部资源。实际上，机器的最佳行为可能包括欺骗人类，让人类自以为给了机器一个合理的目标，这样机器就能获得足够的时间来实现其实际目标。这不是需要意识和自由意志的“反常”或“恶意”的行为，这只是实现目标的最佳计划的一部分。

在第1章中，我介绍了“有益的AI”的概念，即那些行动有望实现我们的目标，而不是它们的目标的人工智能。我在本章的目标是用简单的术语来解释如何做到这一点，尽管明显的缺点是机器不知道我们的目标是什么。由此产生的方法应该最终会创造出对我们没有威胁的人工智能，无论它们有多智能。

有益机器的原则

我觉得把这个方法总结成三条原则是很有帮助的。^[3]在阅读这些原则时，请记住，它们主要用于指导人工智能研究人员和开发人员如何创建有益的人工智能系统。它们并非人工智能系统要遵循的明确_定律：^[4]

1.机器的唯一目标是最大限度地实现人类的偏好。

2.机器最初不确定这些偏好是什么。

3.关于人类偏好的最终信息来源是人类行为。

在进行更详细的解释之前，重要的事情是要记住我在这些原则中所说的偏好的广泛范围。这里提醒一下我在第2章中所写的内容：如果你看了两部电影，每一部都足够详细和广泛地描述了你未来可能会过的生活，这样每一部都构成了一种虚拟体验，你可以说你喜欢哪一部，或者表示中立。因此，这里的偏好是包罗万象的，它们涵盖了在任意遥远的未来你可能关心的一切。^[5]而且它们是你的偏好：机器并不是要识别出或采用一套理想的偏好，而是要理解并尽可能满足每个人的偏好。

第一原则_：纯粹的利他主义机器

第一原则，即机器的唯一目标是最大限度地实现人类的偏好。这是有益机器这个概念的核心。特别是，它将会有益于人类，而不是蟑螂。我们无法回避这种受益人特有的益处。

这一原则意味着机器秉承纯粹的利他主义，也就是说，它绝对不为自己的幸福甚至自己的存在赋予内在价值。它可能会保护自己，以便继续为人类做有用的事情，或是因为它的主人会为不得不支付维修费而不高兴，或是因为看到一个肮脏或受损的机器人可能会让路人感到不悦，但不是因为它想活着。在机器人中加入任何自我保护的偏好，都会在机器人内部建立一个与人类幸福不完全一致的额外的激励机制。

第一原则提出了两个至关重要的问题。关于每一个问题，都值得写一整架的书，事实上，目前已经有许多关于这些问题的书出版了。

第一个问题是，人类是否真的拥有有意义的或稳定的偏好。事实上，“偏好”是一种理想化的概念，在许多方面都与现实不符。例如，我们并非生来就有成人的偏好，所以它们必须随着时间的推移而改变。现在，我假设这种理想化是合理的。稍后，我将研究当我们放弃理想化时会发生什么。

第二个问题是社会科学的一个主要问题：鉴于通常不可能确保每个人都得到他们最喜欢的结果，因为我们不可能全都成为宇宙之王，那么机器应该如何权衡多个人的偏好？同样，就目前而言，采用平等对待每个人这种简单方法似乎是合理的（我保证在下一章会回到这个问题）。这让人想起了18世纪效益主义的根源——“大多数人的最大幸福”^[6]，而且要使之在实践中发挥作用，这里需要许多注意事项和详细说明。也许这些问题中最重要的是，可能有大量的人尚未出生，那么要如何考虑他们的偏好？

未来人类的问题引出了另一个相关的问题：我们如何考虑非人类实体的偏好？也就是说，第一原则是否应该考虑动物的偏好？（或许还有植物？）这是一个值得讨论的问题，但其结果不太可能对人工智能的前进道路产生重大影响。就其价值而言，人类偏好可以而且确实包括动物福祉，以及人类可以直接从动物生存中受益的方面。^[7]机器应该关注动物的喜好，除此之外，人类还应该建造比人类更关心动物的机器，这是一个很难维持的立场。一个更站得住脚的立场是，人类倾向于做出与我们自身利益相悖的短视决策，这往往会给环境及动物带来负面影响。更少做出短视决策的机器将有助于人类采取更环保的政策。而且，在未来，如果我们对动物的福祉给予比现在更大的权重——这可能意味着牺牲一些我们自己固有的福祉，那么机器也会适应。

第二原则_：谦卑的机器

第二原则是，机器最初并不确定人类的偏好是什么。这是创造有益机器的关键。

一台自以为完全理解真正目标的机器会一门心思地追求这个目标。它永远不会问某个行动方案是否可行，因为它已经知道这是实现目标的最佳解决方案。它会无视人类心急火燎的尖叫：“停下来，你会毁了这个世界！”因为这只是语言而已。假设机器对目标的完美理解将其与人类分离开来，那么人类的所作所为将不再重要，因为机器理解目标并追求目标。

相反，一台对真实目标感到不确定的机器会表现出一种谦卑：例如，它会顺从人类，允许自己被关闭。它的理由是，只有当它做错了什么，即做了违背人类偏好的事情的时候，人类才会关掉它。根据第一原则，它想避免这样做，但是根据第二原则，它知道这是可能的，因为它不知道到底什么是“错误”。所以，如果人类真的关掉了机器，那么机器就能避免做错事情，这便是它的意图。换言之，机器有积极的动机让自己被关闭。它仍然与人类联系在一起，人类是一个潜在的信息来源，可以让它避免错误，做得更好。

自20世纪80年代以来，不确定性一直是人工智能的核心问题。事实上，“现代人工智能”一词经常指的是，当不确定性最终成为现实世界决策中的一个普遍问题时发生的革命。然而，人工智能系统目标中的不确定性被简单地忽略了。在所有关于效用最大化、目标实现、成本最小化、奖励最大化和损失最小化的研究中，人们都假定效用函数、目标、成本函数、奖励函数和损失函数是完全已知的。这怎么可能？人工智能界（以及控制理论、运筹学和统计学界）怎么会在如此长时间内存在如此大的盲点，即便在决策中的所有其他方面都包含不确定性？^[8]

人们可能会找出一些相当复杂的技术性借口，^[9]但我认为的事实是，除了一些合理的例外，^[10]人工智能研究人员只是简单地接受了将人类智能的概念映射到机器智能上的标准模型：人类有目标并追求目标，所以机器也应该有目标并追求目标。它们——或者应该说我们，从来没有真正检验过这个基本假设。它被内置于构建智能系统的所有现有方法中。

第三原则_：学习预测人类偏好

第三原则，关于人类偏好的最终信息来源是人类行为。该原则有两个目的。

第一个目的是为“人类偏好”这个词提供一个明确的基础。根据假设，人类偏好并不存在于机器中，机器也无法直接观察到它们，但是在机器和人类偏好之间一定存在着某种明确的联系。这项原则说，这种联系是通过观察人类的选择来实现的：我们假设，选择与潜在的偏好之间存在某种（可能非常复杂的）联系。为了理解为什么这种联系是必不可少的，我们不妨反过来想想：如果人类的某种偏好对人类可能做出的任何实际或假设的选择都没有任何影响，那么可能就不必说这种偏好存在了。

第二个目的是让机器变得更有用，因为它能更多地了解我们想要的东西。（毕竟，如果它对人类偏好一无所知，它对我们就毫无用处。）这个想法很简单：人类的选择揭示了关于人类偏好的信息。将其应用于选择菠萝比萨还是香肠比萨很简单，而将其应用于未来生活之间的选择和为了影响机器人行为而做出的选择则更加有趣。在下一章中，我将解释如何设置和解决这些问题。然而，真正复杂的情况出现了，因为人类不是完全理性的：人类的偏好和人类的选择之间存在着不完美的差异，如果机器要将人类的选择解释为人类偏好的证据，那么它就必须考虑到这些不完美。

澄清一些误解

在讨论更多细节之前，我想先消除一些潜在的误解。

首先，也是最常见的误解是，我提议在机器中安装一个由我设计的单一的、理想化的价值观系统来指导机器的行为。“你打算灌输谁的价值观？”“谁来决定价值观是什么？”甚至，“是什么赋予了像罗素这样的富裕的西方白人男性科学家决定机器如何编码和发展人类价值观的权利？”^[11]

我认为这种混淆部分是由于“价值观”这个词的常识性含义与在经济学、人工智能和运筹学中使用的更技术性的含义之间的冲突。在通常的用法中，价值观是用来帮助解决道德困境的。而作为一个技术术语，价值观大体上是效用的同义词，它衡量从比萨到天堂的一切事物的可取程度。我想要的含义是技术性的：我只是想确保机器给我正确的比萨，而且不会意外地毁灭人类。（找到我的钥匙将会是一个意外的惊喜。）为了避免这种混淆，这些原则谈论的是人类偏好，而不是人类的价值观，因为前一个术语似乎避开了道德上的先入之见。