人工智能时代：破解人机共存密码（套装共10册）

[27] 写给那些喜欢方程式的人：用wA衡量爱丽丝的内在幸福感，用wB衡量鲍勃的内在幸福感。那么爱丽丝和鲍勃的效用定义如下：

$$
\begin{array} { r } { U _ { _ A } = w _ { _ A } + \mathrm { C } _ { A B } w _ { _ B } } \\ { U _ { _ B } = w _ { _ B } + \mathrm { C } _ { B A } ^ { A B } w _ { _ A } . } \end{array}
$$

一些作者认为，爱丽丝关心鲍勃的整体效用 $U _ { \mathrm { B } }$ ，而不仅仅是他的内在幸福感 ${ \cal W } _ { \mathrm { B } } ;$ ，但这导致了一种循环，因为爱丽丝的效用取决于鲍勃的效用，而鲍勃的效用又取决于爱丽丝的效用；人们有时可以找到稳定的解决方案，但潜在的模型可能会受到质疑。请参见：HajimeHori, “Nonpaternalistic altruism and functional interdependence of socialpreferences,” Social Choice and Welfare 32(2009): 59–77。

该对持有不同理论的人的结果产生很大的影响。我要感谢托比·奥德指出了这种方法的这一特点。

[29] 这类观点反对旨在确保结果平等的政策，尤其是美国法律哲学家罗纳德·德沃金（ Ronald Dworkin ） 提 出 的 观 点 。 请 参 见 ： Ronald Dworkin, “What is equality?Part 1: Equality of welfare,” Philosophy and Public Affairs 10 (1981):185–246。我非常感谢伊森·加布里埃尔（Iason Gabriel）提供的这一参考。

[30] 以报复为基础对犯罪行为进行惩罚肯定是一种普遍趋势。虽然它在保持社区成员的秩序方面发挥了社会作用，但它可以被一种由威慑和预防驱动的同等有效的政策所取代，即权衡惩罚违法者对更大的社会利益所造成的内在伤害。

[31] 假设 $E _ { \mathrm { A B } }$ 和 $P _ { \mathrm { A B } }$ 分别是爱丽丝的嫉妒系数和骄傲系数，并假设它们适用于幸福感的差异。那么爱丽丝的效用公式如下（有点过于简化）：

$$
\begin{array} { c } { { U _ { _ A } = w _ { _ A } + \mathrm { C } _ { _ { A B } } w _ { _ B } - E _ { _ { A B } } \left( w _ { _ B } - w _ { _ A } \right) + P _ { _ { A B } } \left( w _ { _ A } - w _ { _ B } \right) } } \\ { { { } } } \\ { { = \left( 1 + E _ { _ { A B } } + P _ { _ { A B } } \right) w _ { _ A } + \left( \mathrm { C } _ { _ { A B } } - E _ { _ { A B } } - P _ { _ { A B } } \right) w _ { _ B } . } } \end{array}
$$

因此，如果爱丽丝的骄傲系数和嫉妒系数为正，它们就像虐待和恶意系数一样影响鲍勃的幸福感：在其他所有条件相同的情况下，如果鲍勃的幸福感降低，爱丽丝会更快乐。实际上，骄傲和嫉妒通常不适用于幸福感的差异，而适用于有形方面的差异，比如地位和财产。鲍勃在获取他的财产时的辛苦劳作（这降低了他的整体幸福感）可能不会被爱丽丝看到。这可能导致因为“攀比”而产生的适得其反的行为。

[32] 关于炫耀性消费的社会学：Thorstein Veblen, The Theory of the Leisure Class: An Economic Study of Institutions (Macmillan, 1899)。

[34] 我感谢齐亚德·马拉尔（Ziyad Marar）向我指出社会认同理论及其在理解人类动机和行为方面的重要性。请参见：Dominic Abrams and Michael Hogg,eds., SocialIdentity Theory: Constructive and Critical Advances (Springer, 1990)。有关主要 思 想 的 简 要 概 述 ， 请 参 见 ： “Social identity,” in This Idea Is Brilliant:Lost, Overlooked, and Underappreciated Scientific Concepts Everyone ShouldKnow, ed. John Brockman (Harper Perennial, 2018)。

[35] 在这里，我并不是说我们一定需要对认知的神经实现有一个详细的了解；我们需要的是一个“软件”层面的模型，来研究偏好（无论是显性的还是隐性的）是如何产生行为的。这样的模型需要纳入关于奖励制度的已知内容。

[36] Ralph Adolphs and David Anderson, The Neuroscience of Emotion: A New Synthesis (Princeton University Press, 2018).

的人类的肤浅和考虑不周的偏好。这就好比起草了一部不允许任何修改的宪法。如果2099年的人类经过适当的深思熟虑后决定推翻2019年人类固有的偏好，那么他们似乎可以做到这一点。总之，他们和他们的后代必须承担后果。

[48] 我感谢温德尔·瓦拉克（Wendell Wallach）的观察。

[49] 一篇关于偏好随时间变化的早期论文：John Harsanyi, “Welfare economics of variable tastes,” Review of Economic Studies 21 (1953): 204–13。一项近期 的（也有些技术性的）调查请参见：Franz Dietrich and Christian List, “Where do preferences come from?,” International Journal of Game Theory 42 (2013):613 –37. See also Laurie Paul, Transformative Experience (Oxford University Press, 2014), and Richard Pettigrew, “Choosing for Changing Selves, philpapers.org/archive/PETCFC.pdf。

[51] 有关人类认知假体的有前途的想法，请参见：Falk Lieder, “Beyond bounded rationality: Reverse-engineering and enhancing human intelligence” (PhD thesis,University of California, Berkeley, 2018)。

10可

如果我们成功地创造了可证明有益的人工智能系统，那么我们将消除超级智能机器失控的风险。人类可以继续发展，并获得几乎无法想象的好处，这些好处来自运用更强大的智能来推进我们文明的能力。我们将从数千年的农业、工业和文书工作的奴役中解放出来，自由地充分发挥生命的潜能。我们站在那个黄金时代的制高点回顾我们现在的生活，我们现在的生活就会显得像英国哲学家托马斯·霍布斯（Thomas Hobbes）想象的没有政府的生活一样：孤独、贫穷、肮脏、野蛮又短暂。

也许未来并非如此。“邦德式”的恶棍可能会绕过我们的保护措施，释放出无法控制的超级智能，而人类对此毫无防御能力。如果幸存下来，那么我们可能会发现，随着我们越来越多地将知识和技能托付给机器，我们会逐渐变得衰弱。机器可能会建议我们不要这样做，因为它们理解人类自主的长期价值，但我们可能会否决它们。

有益的机器

20世纪的许多技术背后的基础标准模型，都依赖于对外部提供的固定目标进行优化的机器。正如我们已经看到的，这种模式存在根本性的缺陷。只有在目标确保完整且正确，或者可以很容易地重置机器的情况下，这种模式才有效。随着人工智能变得越来越强大，这两个条件都将不成立。

如果外部提供的目标可能是错误的，那么机器表现得似乎总是正确的就没有任何意义。因此，我建议使用有益的机器：其行为预期可以实现我们的目标的机器。因为这些目标在我们心中，而不在它们内部，所以机器需要通过观察我们做出的选择和如何做出选择来更多地了解我们真正想要的是什么。以这种方式设计的机器会顺从人类：它们会征求许可；当指令不明确时，它们会谨慎行事；而且它们会允许自己被关掉。

虽然这些初步的结果是一种简单化和理想化的设置，但我相信它们将在过渡到更现实的设置后被保存下来。我的同事们已经成功地将同样的方法应用于实际问题，例如无人驾驶汽车与人类驾驶员的互动。^[1]例如，众所周知，无人驾驶汽车在不清楚谁有优先通行权的情况下不擅长处理通过十字路口的情况。然而，通过把这种情况描述成一个辅助博弈，汽车想出了一个新颖的解决方案：它后退一点，表明它绝对不打算先走。人类理解了这个信号，确信不会发生碰撞，于是继续前进。显然，我们人类专家本可以想到这个解决方案，并将其编到车辆的程序中，但事实并非如此，这是一种完全由交通工具自己发明的交流方式。

随着我们在其他环境中获得更多的经验，我预计我们会对机器与人类交互时的行为范围和流畅性感到惊讶。我们已经习惯了机器的愚蠢，它们执行死板的、预编程的行为，或者追求虽明确但不正确的目标，现在我们可能会震惊于它们何时变得如此明智。可证明有益的机器技术是人工智能新方法的核心，也是人与机器之间新关系的基础。

同样，从普通的软件系统开始，将类似的想法应用于重新设计其他为人类服务的“机器”，似乎也是可能的。我们被教导通过编写子程序来构建软件，每个子程序都有一个定义明确的规范，说明任意给定输入的输出应该是什么，就像计算器上的平方根按键一样明确。该规范是对给定人工智能系统的目标的直接模拟。在产生符合规范的输出之前，子程序不应该终止或将控制返回给软件系统的更高层。（这应该会提醒你，人工智能系统坚持一心一意地追求给定的目标。）更好的方法是考虑规范中的不确定性。例如，执行一些极其复杂的数学计算的子程序，通常会被赋予一个误差界限，该界限定义了答案所需的精度，子程序必须返回在该误差界限内正确的解。有时，这可能需要数周的计算。相反，对允许的误差界限不设置得那么精确可能会更好，这样子程序可以在20秒后返回并说：“我找到了一个不错的解决方案。这样可以吗？还是要我继续找？”在某些情况下，该问题可能会一直渗透到软件系统的顶层，以便人类用户可以为系统提供进一步的指导。人类的回答将有助于完善各个层面的规范。