人工智能时代：破解人机共存密码（套装共10册）

如果我们要沿着新的路线重建人工智能，那么它的基础必须是坚实的。当人类的未来岌岌可危时，光有希望和良好的意愿，以及教育计划、行业行为准则、立法和经济激励来做正确的事情是不够的。所有这些都有可能出错，而且经常失败。在这种情况下，我们希望通过精确的定义和一步步的严格数学证明来提供无可辩驳的保证。

这是一个好的开始，但我们需要更多。我们需要尽可能地确定被保证的东西是我们想要的，证明中的假设是正确的。这些证明本身应该出现在专家撰写的期刊论文中，但我认为，理解什么是证据，以及它们在确保真正的安全方面能提供什么和不能提供什么是很有用的。本章标题中的“可证明有益”是一种愿望，而非承诺，但这是正确的愿望。

数学保证

最终，我们希望证明一个定理：设计人工智能系统的一种特殊方式可以确保它们对人类有益。定理不过是断言的一个花哨的名称，它要表述得足够精确，以便在任何具体情况下都能检验其真实性。也许最著名的定理是费马大定理，它由法国数学家费马（Pierre de Fermat）在1637年提出，经过357年的努力，安德鲁·怀尔斯（Andrew Wiles）终于在1994年证明了该定理（并非全部由怀尔斯完成）。^[1]这个定理可以用一行写完，但是证明它需要100多页密密麻麻的数学计算。

证明始于公理，公理是假定为真的断言。公理通常只是定义，例如费马大定理所需的整数、加法和求幂的定义。证明从公理开始，通过逻辑上无可争议的步骤，添加新的断言，直到定理本身作为其中一个步骤的结果而被确定。

这里有一个相当明显的定理，它几乎可以立即从整数和加法的定义中得出：1 + 2 = 2 + 1。我们不妨把它称为“罗素定理”。这算不上什么重大发现。相反，费马大定理感觉像是一个全新的东西—— 一个以前未知的发现。然而，这种差异只是程度的问题。罗素定理和费马大定理揭示的真理都已经包含在公理中。证明不过是使隐含的东西变得明确罢了。证明的过程可长可短，但是它们没有增加任何新东西。定理的好坏取决于它所包含的假设。

就数学而言，这很好，因为数学是我们定义的抽象对象——数字、集合等。公理是真实的，因为我们是这样认为的。然而，如果你想要证明一些关于现实世界的事情，例如，像这样设计的人工智能系统不会故意杀死你，那么你的公理必须在现实世界中是正确的。如果它们不正确，那么你就证明了一个假想世界中的东西。

科学和工程学拥有证明假想世界结果的悠久而光荣的传统。例如，在结构工程中，人们可能会看到这样的数学分析：“假设AB是一根刚性梁……”刚性这个词在这里并不是指“由像钢铁这样坚硬的东西制成”，它的意思是“无限坚固”，所以它完全不会弯曲。刚性梁并不存在，所以这是一个假想的世界。关键是要知道它偏离现实世界的程度，那就仍能获得有用的结果。例如，如果“刚性梁假设”允许工程师计算出这个结构中的力，并且这些力足够小，只能使真正的梁发生很小程度的弯曲，那么工程师可以合理地相信，把想象世界中的分析转移到现实世界中也会成立。

优秀的工程师会意识到这种转移何时会失效，例如，如果梁处于压缩状态，其两端都受到巨大的力的挤压，那么即使很小的弯曲也会导致更大的侧向力，从而导致更大的弯曲，以此类推，最终导致灾难性的失败。在这种情况下，要用“假设AB是一根刚度为K的柔性梁……”来重新进行分析。当然，这仍然是一个虚构的世界，因为真实的梁并不具有均匀的刚度；相反，它们有微小的缺陷，如果梁反复弯曲，这些缺陷会使裂缝产生。移除不现实的假设的过程会持续下去，直到工程师非常确信剩余的假设在现实世界中足够站得住脚。之后，工程系统可以在现实世界中进行测试，但测试结果仅限于此。它们不能证明相同的系统在其他情况下仍然有效，也不能证明系统的其他实例会按照与原始系统相同的方式运行。

计算机科学中一个经典的假设失败的例子来自网络安全。在该领域，人们需要进行大量的数学分析来证明某些数字协议的安全性，例如，当你在Web应用程序中输入密码时，你希望确保它在传输前被加密，这样窃听网络的人就无法读取你的密码。这种数字系统通常可以被证明是安全的，但在现实中仍然容易受到攻击。这里的错误假设是，这是一个数字过程。实则不然，它在真实的物理世界中运行。通过监听键盘的声音或测量为笔记本电脑供电的电线的电压，攻击者可以“听到”你的密码或观察到处理过程中发生的加密与解密计算。网络安全界现在正在应对这些所谓的侧信道攻击，例如，编写一种加密代码，不管加密的是什么消息，代码都会产生相同的电压波动。

让我们看看我们最终要证明的有益机器定理。一种可能的类型如下所示。

假设一台机器具有组件A、B、C，它们彼此以某种方式连接在一起，并同环境以某种方式连接在一起，且使用内部学习算法l_A、l_B、l_C来优化内部反馈奖励r_A、r_B、r_C，以及一些其他条件……那么很有可能，机器的行为在（对人类的）价值上将非常接近在任何具有相同计算能力和物理能力的机器上可以实现的最佳可能行为。

这里的要点是，无论组件变得多么智能，这样的定理都应该成立，也就是说，证明无懈可击，机器永远对人类有益。

关于这类定理，还有另外三点值得一提。首先，我们不能试图证明机器代表我们产生最优（或接近最优）的行为，因为我们几乎可以肯定，这在计算上是不可能的。例如，我们可能想让机器完美地下围棋，但我们有充分的理由相信，在任何实际时间内，这在任何物理上可实现的机器中都不可能完成。现实世界中的最优行为甚至更不可行。因此，该定理说的是“最佳可能”而不是“最优”。

其次，我们说“很有可能……非常接近”，因为这通常是机器学习所能做到的最好的结果。例如，如果机器正在学习帮我们玩轮盘赌，球连续40次落在“0”的位置上，机器可能会合理地判断赌桌被操纵了，并相应地下注。但这可能是偶然发生的，因此，机器总是有很小的——也许是微乎其微的被反常事件误导的可能性。最后，对于在现实世界中运行的真实的智能机器，我们距离证明这类定理还有很长的路要走！

人工智能中也有类似的侧信道攻击。例如，该定理以“假设一台机器具有组件A、B、C，它们彼此以某种方式连接在一起……”开头，这是计算机科学中所有正确定理的典型特征，它们从描述正确的程序开始。在人工智能中，我们通常会区分智能体（做决策的程序）和环境（智能体执行操作的地方）。既然我们设计了智能体，那么以下假设似乎是合理的——它具有我们所赋予的结构。为了更加安全，我们可以证明，它的学习过程只能以不会引起问题的限定方式修改它的程序。这样就够了吗？不够。与侧信道攻击一样，认为程序在数字系统中运行的假设是不正确的。虽然学习算法在本质上不能通过数字手段重写自己的代码，但它仍可能学会说服人类对其进行“脑部手术”，以此来违反智能体和环境的区分，并通过物理手段改变代码。^[2]

与结构工程师对刚性梁的推理不同，我们对那些最终将成为“可证明有益的人工智能”（Provably Beneficial AI）定理基础的假设知之甚少。例如，在本章中，我们通常会假设一个理性的人。这有点像假设一根刚性梁，因为在现实中没有完全理性的人。（然而，情况可能更糟，因为人类甚至还没有接近理性。）我们所能证明的定理似乎提供了一些见解，这些见解在人类行为中引入某种程度的随机性之后仍然成立，但当我们考虑到真实人类的一些复杂性时，我们还远远不清楚会发生什么。

因此，我们必须非常小心地检查我们的假设。当安全性被成功证明时，我们需要明白它不会真的成为现实，因为我们做出了不切实际的强假设，或是因为安全的定义太弱。当安全性被证明失败时，我们需要抵制诱惑，不去增强假设以使证明通过，例如添加程序代码保持不变的假设。相反，我们需要加强人工智能系统的设计，例如确保它没有修改自己代码的关键部分的动机。

有一些假设，我称之为“OWMAWGH”假设，意思是“否则我们还不如回家”（otherwise we might as well go home）。也就是说，如果这些假设是错误的，那么游戏就结束了，我们没有什么可做的了。例如，我们可以合理地假设宇宙是按照恒定的和某种程度上可辨别的规律运行的。如果不是这样，我们就无法保证学习过程会起作用，即使是非常复杂的过程也不例外。另一个基本假设是，人类关心发生了什么。如果人类什么也不关心，那么可证明有益的人工智能就没有目的，因为“有益”没有意义。在这里，关心意味着对未来有大致一致和相对稳定的偏好。在下一章中，我将探讨人类偏好的“可塑性”可能带来的后果，这对可证明有益的人工智能的想法提出了严峻的哲学挑战。

目前，我关注最简单的情况：只有一个人和一个机器人的世界。我用这个案例介绍基本思想，但它本身也很有用：你可以将这个人视为全人类的代表，将这个机器人视为所有机器的代表。当考虑多个人和多个机器人时，额外的复杂性就会出现。

从行为中学习偏好

经济学家通过为人类受试者提供选择来套取他们的偏好。^[3]该技术广泛应用于产品设计、营销和交互式电子商务系统中。例如，汽车设计师向受测试者提供具有不同油漆颜色、座位安排、后备厢大小、电池容量、杯架等选项的汽车，以此来了解人们关心哪些汽车功能，以及他们愿意为这些功能支付多少钱。另一个重要应用是在医学领域，肿瘤学家在考虑截肢的可能性时，可能需要评估病人在行动能力和预期寿命之间的偏好。当然，比萨餐厅想知道人们愿意为香肠比萨支付的价格比普通比萨高多少。

套取偏好通常只考虑在多个对象之间做出的单一选择，我们假设这些对象的价值对受试者而言是显而易见的。我们目前还不清楚如何将其拓展到对未来生活的偏好上。为此，我们（和机器）需要从长期的行为观察中学习，这涉及具有多种选择和不确定结果的行为。

1997年初，我和同事迈克尔·迪金森（Michael Dickinson）、鲍勃·弗尔（Bob Full）讨论了我们如何应用机器学习的思想来理解动物的运动行为。迈克尔仔细研究了果蝇翅膀的运动。而鲍勃特别喜欢令人毛骨悚然的爬虫，他为蟑螂制作了一台小型跑步机，以便观察它们的步态如何随着速度的变化而变化。我们认为，利用强化学习来训练机器人或模拟昆虫，以此重现这些复杂的行为是可能的。我们面临的问题是，我们不知道使用什么奖励信号，不知道苍蝇和蟑螂在优化什么。没有这些信息，我们就无法应用强化学习来训练虚拟昆虫，所以我们陷入了困境。

一天，我从我们在伯克利的房子去当地超市。这条路有一个下坡，我注意到，这个斜坡使我走路的方式发生了轻微的变化，我相信大多数人都会这样。此外，几十年中发生的数次小地震造成了路面不平坦，所以走在上面的人会发生额外的步态变化，由于地面高度无法预测，我的脚抬得更高了一点，下落时也不那么生硬。当我思考这些平凡的生活观察时，我意识到我们弄错了。当强化学习从奖励中产生行为时，我们实际上想要的恰恰相反：学习给定行为的奖励。我们已经有了由苍蝇和蟑螂产生的行为，我们想知道这种行为所优化的具体奖励信号。换言之，我们需要逆强化学习算法（IRL）。^[4]［当时我还不知道，还有一个类似的问题曾被研究过，它被称为“马尔科夫决策过程的结构式估计方法”，这是诺贝尔奖得主汤姆·萨金特（Tom Sargent）在20世纪70年代末开创的一个领域。^[5]］这样的算法不仅可以解释动物的行为，还可以预测它们在新环境下的行为。例如，蟑螂如何在既倾斜又颠簸的跑步机上奔跑？

解决这些基本问题令人们兴奋得不能自已，但即便如此，人们为逆强化学习设计出第一套算法还是花了一些时间。^[6]自那时以来，人们已经提出了许多不同的逆强化学习公式和算法。从某种意义上讲，这些算法可以获得足够多的关于实体偏好的信息，使之能够像观察到的实体一样成功地行动，因此可以从某种程度上保证算法的有效性。^[7]

或许，理解逆强化学习算法的最简单方法是：观察者从对真实的奖励函数的一些模糊估计开始，然后随着观察到更多的行为而细化这个估计，使之更精确。或者，用贝叶斯的理论来解释：^[8]从可能的奖励函数的先验概率开始，然后随着证据的增加来更新奖励函数的概率分布（附录C）。例如，假设机器人罗比正在观察人类哈里特，想知道在靠窗的座位和靠过道的座位之中，她更喜欢哪一个。起初，它对此很不确定。从概念上讲，罗比的推理可能是：“如果哈里特真的喜欢靠过道的座位，她会查看座位图，了解是否有靠过道的空位，而不是仅仅等着航空公司给她安排靠窗的座位，但她没有，尽管她可能注意到这是一个靠窗的座位，而且她也并不着急。所以现在，她很可能要么对靠窗和靠过道漠不关心，要么更喜欢靠窗的座位。

逆强化学习在实践中最引人注目的例子是我的同事彼得·阿比尔（Pieter Abbeel）在学习直升机特技飞行方面的工作。^[9]专业的人类飞行员可以让直升机模型做出令人惊叹的特技，例如回环、螺旋、摆荡等。试图复制人类行为的结果并不太好，因为条件无法完全再现：在不同情况下重复相同的控制序列可能会导致灾难。相反，该算法以它能够实现的轨迹约束的形式，来学习人类飞行员想要的东西。这种方法实际上产生的结果甚至比人类专家所做的还要好，因为人类的反应更慢，并且会不断地犯小错误并纠正错误。

辅助博弈

逆强化学习如今已经是构建有效的人工智能系统的重要工具，但它做了一些简化的假设。第一，机器人一旦通过观察人类学会了奖励函数，它就会采用奖励函数，这样它就可以执行相同的任务。这对驾驶汽车或驾驶直升机来说没问题，但对于喝咖啡不行：一个观察我早晨习惯的机器人应该知道我（有时）想喝咖啡，但不应该知道它自己想喝咖啡。解决这个问题很容易，我们只需确保机器人将偏好与人类联系起来，而不是与自身联系起来。

逆强化学习中的第二个简化假设是，机器人正在观察一个人类解决单智能体决策问题。例如，假设机器人在医学院，通过观察人类专家来学习成为外科医生。逆强化学习算法假设人类通常以最佳方式进行手术，就好像机器人不在那里一样。但事实并非如此：人类外科医生的动机是让机器人（像其他医科学生一样）学得又快又好，这样她就会大大改变自己的行为。她可以边走边解释她在做什么；她可以指出需要避免的错误，比如切口太深或伤口缝合太紧；她可以描述万一手术中出现问题，应当采取什么应急方案。在单独进行手术时，这些行为都没有意义，因此逆强化学习算法将无法解释这些行为所暗示的偏好。出于这个原因，我们需要将逆强化学习从单智能体设置发展到多智能体设置，也就是说，我们需要设计一种学习算法，当人和机器人是同一环境的一部分并且相互交互时，该算法必须发挥作用。

当一个人和一个机器人处于同一环境中的时候，我们就进入了博弈论的领域，就像第1章中爱丽丝和鲍勃之间的点球大战一样。在这个理论的第一个版本中，我们假设人类有偏好，并根据这些偏好行事。机器人不知道人类有什么偏好，但它无论如何都想满足他们。我们称这种情况为“辅助博弈”（assistance game），因为根据定义，机器人应该对人类有所帮助。^[10]

辅助博弈实例化了上一章中的三项原则：机器人的唯一目标是满足人类的偏好，它最初并不知道人类的偏好是什么，以及它可以通过观察人类的行为来学习更多。也许辅助博弈最有趣的特性是，通过解决博弈问题，机器人可以自己弄明白如何将人类行为转化为有关人类偏好的信息。

^“回形针^”博弈

辅助博弈的第一个例子是回形针博弈。这是一个非常简单的游戏，在这个游戏中，人类哈里特有一种动机来向机器人罗比“发送”一些她的偏好信息。罗比能够解读这个信号，因为它能玩这个游戏，由此它能理解哈里特有什么样的偏好，以便让她发出那样的信号。

游戏的步骤如图12所示，涉及制作回形针和订书钉。哈里特的偏好是通过一个收益函数来表达的，该函数取决于生产的回形针和订书钉的数量，两者之间有一定的“汇率”。例如，她可能会把回形针的价值定为45美分，将订书钉的价值定为55美分。（我们将假设这两个价值的总和始终为1.00美元，重要的只有比率。）因此，如果生产10个回形针和20个订书钉，哈里特的收益将是10×45美分+20×55美分= 15.50美元。机器人罗比一开始完全不确定哈里特的偏好：他对回形针的价值有一个均匀分布（也就是说，价值有可能是从0美分到1.00美元的任何值）。哈里特先做了选择，她可以选择制作2个回形针，或2个订书钉，或每种各1个。然后，罗比选择制作90个回形针，或90个订书钉，或每种各50个。[11]

请注意，如果哈里特自己做这件事，做了2个订书钉，价值为1.10美元。但是罗比在看着，它从她的选择中学习。它到底学到了什么？这取决于哈里特如何做出选择。哈里特是如何做出选择的？这取决于罗比如何解释它。所以，我们似乎遇到了一个循环问题！这在博弈论问题中很典型，也是纳什提出纳什平衡的原因。

为了找到一个均衡的解决方案，我们需要为哈里特和罗比确定策略，假设任意一方的策略保持不变，则双方都没有改变自己策略的动机。哈里特的一个策略是，根据她的偏好，指定要做多少回形针和订书钉；罗比的一个策略是，根据哈里特的行动，指定要做多少回形针和订书钉。