人工智能时代：破解人机共存密码（套装共10册）

事实证明，似乎只有一个均衡解。

• 哈里特根据她对回形针的估价做出如下决定：

如果价值低于44.6美分，我就制作0个回形针和2个订书钉；

如果价值在44.6 \~ 55.4美分之间，我就每种各制作1个；

如果价值大于55.4美分，我就制作2个回形针和0个订书钉。

• 罗比回应如下：

如果哈里特制作0个回形针和2个订书钉，我就制作90个订书钉；

如果哈里特每种各制作1个，我就每种各制作50个；

如果哈里特制作2个回形针和0个订书钉，我就只制作90个回形针。

如果你想知道如何得出具体的解决方案，请参见注释。^[12]通过这种策略，哈里特实际上是在用一种简单的代码（如果你喜欢，也可以说是一种语言）告诉罗比她的偏好，这种简单的代码是从均衡分析中产生的。就像外科医生教学的例子一样，单智能体逆强化学习算法无法理解这段代码。还要注意，罗比从来没有确切地了解哈里特的偏好，但是它学到了足够多的东西来代表她采取最佳行动，也就是说，它的行为就像确实知道哈里特的偏好一样。在陈述的假设下和哈里特在正确玩游戏的假设下，我们可以证明罗比对哈里特是有益的。

人们也可以构建问题，罗比会像一个好学生一样问问题，而哈里特会像一个好老师一样告诉罗比要避免的陷阱。之所以会出现这些行为，并不是因为我们编写了让罗比听从哈里特的脚本，而是因为这是哈里特和罗比参与的辅助博弈的最佳解决方案。

关机博弈

工具性目标通常可以用作几乎任何原始目标的子目标。自我保护是一个工具性目标，因为很少有原始目标在死后能更好地实现。这导致了关机问题：具有固定目标的机器将不允许自己被关机，并有动机禁用自己的关机按钮。

关机问题实际上是智能系统控制问题的核心。如果我们因为机器不允许我们关机就无法关闭一台机器，那么我们就真的有麻烦了。如果我们可以关闭一台机器，那么我们也可以通过其他方式来控制它。

事实证明，目标的不确定性对于确保我们能够关闭机器至关重要，即便机器比我们更智能。我们在前一章看到了非正式的论证：根据有益机器的第一原则，罗比只关心哈里特的偏好，但是根据第二原则，罗比不确定哈里特的偏好是什么。它知道自己不想做错事，但它不知道做错事意味着什么。另外，哈里特知道做错事意味着什么。（或者说，在这个简单的例子中，我们假设是这样。）因此，如果她关掉罗比是为了避免它做错事，那么罗比会很愿意被关掉。

为了使这个论点更精确，我们需要这个问题的正式模型。^[13]我要使它“尽可能简单”，而不只是“简单一些”而已（图13）。

罗比现在是哈里特的私人助理，可以优先进行选择。它现在可以行动了，比如说为哈里特预订一家昂贵的酒店。它非常不确定哈里特有多喜欢这家酒店及其价格，但它为哈里特感受到的价值设计了均匀概率分布，价值介于–40和+60之间，平均为+10。它可以“关闭自己”，即退出酒店预订过程，我们定义这个过程对哈里特的价值为0。它也可以继续预订酒店，而这会招致让哈里特不高兴的重大风险。（如果范围是-60到+40，平均为-10，那么它会关闭自己。）然而，我们会给罗比第三个选择：解释它的计划，等待哈里特做出选择。哈里特既可以把它关掉，也可以让它继续预订酒店。你可能会问，鉴于它可以自己做出这两个选择，等待又会有什么好处呢？

图13 关机博弈。罗比可以选择现在行动，但收益非常不确定。也可以选择自己关机，或者等待哈里特做决定。哈里特可以关掉罗比，也可以让它继续。罗比现在又有了同样的选择。对哈里特来说，行动仍然有不确定的回报，但现在罗比知道回报不是负数

关键在于，哈里特的选择——是关掉罗比还是让它继续，为罗比提供了关于哈里特偏好的新信息。如果哈里特让罗比继续，那是因为对哈里特来说价值是正数。现在罗比的信念在0到+60之间的均匀分布，平均为+30。

所以，如果我们从罗比的角度来评估它最初的选择：

• 立即行动并预订酒店的期望价值为+10。

• 关闭自己的价值为0。

• 等待并让哈里特关掉它（如果她愿意），会导致两种可能的结果：

（1）有40%的可能性（基于罗比对预订酒店计划的不确定性），哈里特不喜欢这间酒店，并关闭罗比，价值为0。

（2）有60%的可能性，哈里特会喜欢这间酒店，并允许罗比继续，期望价值为+30。

• 因此，等待的期望价值是40%×0 + 60%×30 = +18，这比在+10时立即采取行动要好。

结果是，罗比有积极的动机让自己被关闭。这种动机直接来自罗比对哈里特偏好的不确定。罗比意识到它有一定的概率（在这个例子中是40%）会做出一些让哈里特不高兴的事情，在这种情况下，被关掉比继续下去更好。如果罗比已经确定了哈里特的偏好，它就会继续做出决定（或者关闭自己）。此时咨询哈里特绝对不会有任何收获，因为根据罗比明确的信念，它已经可以准确地预测哈里特将要做出什么决定。

事实上，在一般情况下也可以证明同样的结果：只要罗比不能完全确定自己将要做的事情就是哈里特自己会做的事，它就会更愿意被哈里特关闭。^[14]哈里特的决定为罗比提供了信息，而信息对于改进罗比的决定总是有用的。相反，如果罗比对哈里特的决定有把握，那么她的决定就不会提供新的信息，所以罗比没有动机让她做决定。

该模型中有一些明显的细节值得立即探讨。第一个细节是要求哈里特做决定或回答问题的成本。（也就是说，哈里特的时间是宝贵的，我们假设罗比对哈里特的偏好至少知道一些。）在这种情况下，如果罗比几乎确定了哈里特的偏好，它就不太愿意去打扰她。成本越高，罗比在打扰哈里特之前就越不确定。这是应该的。如果哈里特会因为被打扰而生气，那么即使罗比偶尔会做她不喜欢的事情，她也不应该感到太惊讶。

第二个细节是允许有人为错误发生的可能性，也就是说，即使罗比提议的行动是合理的，哈里特有时也可能会关掉罗比；即使罗比提议的行动并不可取，哈里特有时也会让罗比继续。我们可以把这种人为错误的概率放入辅助博弈的数学模型中，并像前面一样找到解决方案。正如人们所料，博弈的解决方案表明，罗比不太倾向于听从一个有时违背自己最大利益的、非理性的哈里特。她的行为越随意，罗比在服从她之前就越不确定她的偏好。同样，这也是理所当然的，例如，如果罗比是一辆无人驾驶汽车，哈里特只是坐在车里的顽皮的两岁孩子，罗比就不应该允许哈里特在高速公路上把它关掉。

我们还有很多方法来完善模型或将模型嵌入复杂的决策问题中。^[15]然而我相信，核心理念——有益的、顺从的行为和机器对人类偏好的不确定性之间的重要联系，会经受住这些细化和复杂化的考验。

长期准确地学习偏好

在阅读关机博弈这部分时，你可能会想到一个重要的问题。（事实上，你可能有很多重要的问题，但我只回答这个问题。）当罗比获得越来越多的关于哈里特偏好的信息，变得越来越确定时，会发生什么？这是否意味着它最终将不再完全听命于她？这是一个棘手的问题，可能的答案有两个：第一个是“是”，第二个还是“是”。

第一个“是”是良性的。一般而言，只要罗比最初对哈里特偏好的信念把一些概率（无论多么小）归因于她实际拥有的偏好，那么随着罗比变得越来越确定，它会变得越来越正确。也就是说，它最终会确定哈里特有她实际上有的偏好。例如，如果哈里特把回形针的价值定在12美分，订书钉的价值定在88美分，罗比最终会学习到这些价值。在这种情况下，哈里特并不在乎罗比是否顺从她，因为她知道罗比总是会像她一样做事。哈里特想要关掉罗比的情景永远不会出现。

第二个“是”则不太妙。如果罗比先验地排除了哈里特的真正偏好，那么它永远也不会学习到那些真正的偏好，但它的信念可能会聚成一个不正确的评估。换言之，随着时间的推移，它变得越来越确信关于哈里特偏好的错误信念。通常，在罗比最初认为可能的所有假设中，这个错误的信念将是最接近哈里特真实偏好的假设。例如，如果罗比非常确定哈里特的回形针价值在25至75美分之间，而哈里特认为的真实价值是12美分，那么罗比最终会确定哈里特将回形针的价值定在25美分。[16]

随着罗比对哈里特的偏好越来越确定，它将和那些有固定目标的糟糕的旧人工智能系统越来越像：它不会征求许可，也不会让哈里特选择关闭它，而且它的目标不正确。如果只是在回形针和订书钉之间做选择，这并不可怕，但是如果哈里特病得很重，那么这可能是在生活质量和寿命之间做选择。如果罗比代表人类行事，那么这可能是在人口规模和资源消耗之间做选择。

因此，如果罗比预先排除了哈里特实际上可能有的偏好，我们就会遇到一个问题：它可能会对她的偏好有一种明确但不正确的信念。解决这个问题的办法显而易见：不要这样做！相反，我们要为逻辑上可能的偏好分配一些概率，不管其概率有多小。例如，从逻辑上讲，哈里特可能会主动想把订书钉处理掉，然后付钱让你把它们拿走。（也许她还是个孩子时把手指钉在桌子上了，现在她非常讨厌订书钉。）因此，我们应该考虑到“汇率”为负的可能性，这让事情变得有点复杂，但仍然完_全可控。^[17]

但是如果哈里特把回形针价值定为工作日12美分、周末80美分，又会如何？这个新的偏好无法用任何单一数字来描述，因此罗比实际上已经提前排除了这种可能性。这并不在它关于哈里特偏好的一系列可能的假设中。总而言之，除了回形针和订书钉之外，哈里特关心的东西可能还有很多很多。的确如此！例如，假设哈里特关心气候，并假设罗比最初的信念包含了一系列可能的考虑，包括海平面、全球气温、降雨、飓风、臭氧、入侵物种和森林砍伐。然后罗比会观察哈里特的行为和选择，并逐渐完善对她的偏好的理论，以了解她对清单上每一项分配的权重。但是，就像在回形针的案例中一样，罗比不会去了解清单上没有的东西。比如说，哈里特还关心天空的颜色，我敢保证，你不会在气候学家关注的典型事件中找到这种东西。如果罗比能通过把天空变成橙色来优化在海平面、全球温度、降雨量等方面做得稍微好一点，它会毫不犹豫地这样做。

同样，这个问题仍然有一个解决方案：不要这样做！永远不要预先排除世界上可能成为哈里特偏好的一部分的属性。这听起来不错，但实际上，让它在实践中发挥作用要比根据哈里特的喜好处理一个数字更加困难。罗比最初的不确定性必须考虑到可能有助于了解哈里特偏好的无数未知属性。然后，当罗比根据已知的属性无法解释哈里特的决定时，罗比可以推断，有一个或多个先前未知的属性（例如天空的颜色）可能在起作用，而且它可以试着找出那些属性可能是什么。通过这种方式，罗比避免了由过度限制性的先验信念引起的问题。据我所知，目前尚无此类方案的成功示例，但其总体思想包含在当前对机器学习的思考中。[18]

禁例与漏洞原则

保有人类目标的不确定性，或许并不是说服机器人在拿咖啡时不要禁用关机按钮的唯一方法。杰出的逻辑学家摩西·瓦迪（Moshe Vardi）提出了一个基于禁例的更简单的解决方案：^[19]与其给机器人一个目标“去拿咖啡”，不如给它一个目标“去拿咖啡，同时不要让你的关机按钮失效”。不幸的是，有这样目标的机器人将会在符合法律条文的同时违背法律精神，例如，用有食人鱼出没的护城河把关机按钮包围起来，或是杀死任何靠近关机按钮的人。以一种万无一失的方式编写这样的禁例就像试图编写无漏洞的税法，这是我们几千年来一直在尝试却一直失败的事情。一个足够聪明的、有强烈动机避税的实体很可能会找到一种方法来做到这一点。我们称之为漏洞原理：如果一台足够智能的机器有动机创造某种条件，那么一般而言，人类无法仅凭写禁例来限制它的行为，阻止它这样做，或是阻止它做一些等效的事情。

防止有人避税的最佳解决方案是确保相关实体都愿意纳税。在人工智能系统可能出现问题的情况下，最好的解决方案是确保它愿意服从人类。

要求和指示

到目前为止，这个故事的寓意是，我们应该避免诺伯特·维纳所说的“给机器输入一个目标”。但是假设机器人确实收到了人类的直接指令，比如，“给我拿杯咖啡！”机器人应该如何理解这个指令？

按照惯例，这将成为机器人的目标。任何满足目标的动作序列，即让人类喝上咖啡的一系列行动，都算是解决方案。通常，机器人还会有一种方法来对解决方案进行排序，可能是基于所花费的时间、行进的距离，以及咖啡的成本和质量。

这是一种非常拘泥于字面意思的解释指令的方式。它会导致机器人的病态行为。例如，也许人类哈里特在沙漠中的一个加油站停了下来，她派机器人罗比去取咖啡，但是加油站没有咖啡，于是罗比以每小时3英里的速度赶到了200英里外的最近的城镇，10天后带着一杯所剩无几的咖啡返回。与此同时，哈里特耐心地等待着，加油站老板给她提供了冰茶和可口可乐。

如果罗比是人类（或是一个设计精良的机器人），它就不会像这样从字面上理解哈里特的指令了。指令不是不惜一切代价都要实现的目标。这是一种传达哈里特偏好信息的方式，目的是诱导罗比进行某些行为。问题是，传达什么信息？

一种建议是传达这样一个信息：在其他所有条件相同的情况下，哈里特喜欢喝到咖啡甚于喝不到咖啡。^[20]这意味着，如果罗比有一种方法可以在不改变世界的情况下拿到咖啡，那么即使它不知道哈里特对环境状态的其他方面的偏好，这样做也是一个好主意。正如我们所预料的那样，机器永远无法确定人类的偏好，但我们很高兴知道，尽管存在这种不确定性，它们仍然可以发挥作用。对带有部分偏好信息和不确定偏好信息的规划和决策的研究，有可能成为人工智能研究和产品开发的核心部分。

另外，所有其他条件都相同意味着不允许有其他的改变，例如，如果罗比不知道哈里特对咖啡和钱的相对偏好，那么在增加咖啡数量的同时减少支出可能是个好主意，也可能不是。

幸运的是，在所有其他条件相同的情况下，哈里特的指示可能不仅仅是简单地偏爱咖啡。额外的意义不仅来自她说的话，还来自她所说的事实、她说话时的具体环境以及她没说出口的事实。语用学是语言学的一个分支，它研究的正是这种延伸的意义概念。例如，对哈里特而言，如果哈里特认为附近没有咖啡，或者咖啡贵得离谱，那么她说“给我拿杯咖啡！”就是没有意义的。因此，当哈里特说：“给我拿杯咖啡！”此时罗比推断，哈里特不仅想要咖啡，而且她认为附近有咖啡，价格是她愿意承受的。因此，如果罗比发现咖啡的价格似乎是合理的（即这个价格在哈里特愿意支付的价格范围内），它就可以继续购买。相反，如果罗比发现最近的咖啡店在200英里之外或者价格为22美元，那么对它而言，报告这一事实而不是盲目购买可能更合理。

这种通用的分析风格通常被称为“格莱斯”（Gricean），这个名字源于加州大学伯克利分校的哲学家保罗·格莱斯（H. Paul Grice），他提出了一套准则来推断像哈里特这样的话语的延伸意义。^[21]当确定偏好时，分析可能会变得相当复杂。例如，哈里特很可能不是特别想喝咖啡，她需要提神，却误以为加油站有咖啡，所以她要了咖啡。她可能同样喜欢茶、可口可乐，甚至一些包装花哨的能量饮料。

这些只是解释请求和指令时需要考虑的几个问题。关于这个主题的变化是无穷无尽的，因为哈里特的偏好是复杂的，哈里特和罗比所处的环境是多种多样的，以及哈里特和罗比在这些环境中可能拥有不同状态的知识和信念。虽然预先计算的脚本可能允许罗比处理一些常见的情况，但是灵活和鲁棒的行为只能从哈里特和罗比的交互中产生，这些交互实际上是他们所参与的辅助博弈的解决方案。

“主动嗑电”

在第2章中，我描述了基于多巴胺的大脑奖励系统，以及它在引导行为中的作用。多巴胺的作用在20世纪50年代末被发现，但早在那之前，人们就知道对老鼠大脑直接进行电刺激可以产生一种类似奖励的反应。^[22]下一步是让老鼠接触一个连接着电池和电线的操纵杆，这个操纵杆会对老鼠的大脑产生电刺激。结果是令人警醒的：老鼠一次又一次地按下操纵杆，从不停下来吃东西或喝水，直到倒下。^[23]人类也好不到哪里去，人类会成千上万次地寻求自我刺激，忽视食物和个人卫生。^[24]（幸运的是，人体实验通常只进行一天。）动物为了直接刺激自己的奖励 系 统 而 使 正 常 行 为 “ 短 路 ” 的 倾 向 被 称 为 “ 主 动 嗑 电 ”（wireheading）。

类似的事情会发生在运行强化学习算法的机器上吗，比如AlphaGo？起初，人们可能会认为这是不可能的，因为AlphaGo得到获胜的+1奖励的唯一方法是赢得它正在玩的模拟围棋游戏。不幸的是，这是可能的，原因在于AlphaGo和它的外部环境之间强制的、人为的分离，以及AlphaGo并不很智能的事实。请让我更详细地解释这两点，因为它们对于理解超级智能可能出错的一些方式很重要。