人工智能时代：破解人机共存密码（套装共10册）

AlphaGo的世界只由模拟的围棋棋盘组成，棋盘纵横各19路，共计361个交叉点，这些位置可以为空，也可以放黑色或白色的棋子。虽然AlphaGo在一台计算机上运行，但它对这台计算机一无所知。特别是，它对判断每一盘棋胜负的那一小段代码一无所知。在学习过程中，它对于对手也没有任何概念，它的对手实际上是它自己的一个版本。AlphaGo唯一的动作就是将一枚棋子放在一个空的交叉点上，这些动作只影响围棋棋盘，而不影响其他任何东西，因为AlphaGo的模型中没有其他东西。这种设置对应于强化学习的抽象数学模型，其中的奖励信号来自“宇宙之外”。对AlphaGo而言，它无法对生成奖励信号的代码产生任何影响，因此AlphaGo不会沉迷于“主动嗑电”。

AlphaGo在训练期间的生活一定相当令人沮丧：它做得越好，它的对手就做得越好，因为它的对手几乎就是它自己的翻版。不管它变得多好，它的胜率都会徘徊在50%左右。如果它更智能，即如果它的设计更接近人类水平的人工智能系统，那么它将能够解决这个问题。这个AlphaGo++不会假设世界只是围棋棋盘，因为这一假设让很多事情无法解释。例如，它没有解释是什么“物理定律”在支持AlphaGo++自己做决策的操作，也没有解释神秘的“对手”来自何处。正如我们这些好奇的人类已经逐渐理解宇宙的运行一样，通过这种方式，某种程度上我们也了解了自己大脑的工作方式，就像第6章中讨论的Oracle AI一样，AlphaGo++将通过实验过程，了解到宇宙中的东西远不只围棋棋盘。它将计算出运行它的计算机及它自己的代码的运行规律，并且将认识到，如果没有宇宙中其他实体的存在，这样的系统是难以解释的。它将在棋盘上用不同的着法进行实验，想知道这些实体是否能解释它们。最终，它会通过一种模式语言与这些实体通信，并说服这些实体对它的奖励信号进行重新编程，使它总是得到+1。我们得到的必然的结论是，设计成奖励信号最大化的、功能足够强大的AlphaGo++将会出现“主动嗑电”行为。

几年来，人工智能安全界一直在讨论“主动嗑电”的可能性。^[25]人们担心的是像AlphaGo这样的强化学习系统可能学会作弊，而不是掌握其预期的任务。当人类是奖励信号的来源时，真正的问题就出现了。如果我们提出，人工智能系统可以通过强化学习训练出良好的表现，利用人类给出的反馈信号来定义改进的方向，那么不可避免的结果是，人工智能系统会想出控制人类的方法，并迫使人类在任何时候都给予其最大的积极奖励。

你可能认为这只是人工智能系统的一种毫无意义的自欺行为，没错，事实正是如此。但这是强化学习定义的逻辑结果。当奖励信号来自“宇宙之外”，并由人工智能系统永远无法修改的某个过程生成时，这个过程就能正常工作。如果奖励生成过程（主体是人类）和人工智能系统处于同一个“宇宙”中，这个过程就失败了。

我们如何才能避免这种自欺行为？这个问题之所以会产生，是因为它混淆了两个不同的东西：奖励信号和实际奖励。在强化学习的标准方法中，它们是一种东西。这是个错误。它们应该被区分对待，就像它们在辅助博弈中一样：奖励信号提供关于实际奖励积累的信息，该信息才是要被最大化的东西。学习系统是在天堂积累积分，而奖励信号充其量只是提供积分的一种记录。换言之，奖励信号会通报奖励积累，而不是说奖励信号构成了奖励积累。在这个模型中，很明显，接管奖励信号机制的控制权只会丢失信息。制造虚假的奖励信号会使算法无法知道它的行为是否真的在天堂里积累积分，因此，一个被设计成能够区分二者区别的理性学习者，有动力去避免任何类型的“主动嗑电”。

递归式自我完善

I. J.古德对智能爆炸的预测（见第5章）是当前使人们担忧超级人工智能潜在风险的驱动力之一。如果人类可以设计出比人类更智能的机器，那么就会有人认为，机器在设计机器方面会强于人类。它会设计一种更智能的新机器，这个过程将不断重复，用古德的话说，直到“人类的智能被远远抛在后面，望尘莫及”。

人工智能安全领域的研究人员，特别是位于伯克利的机器智能研究所（Machine Intelligence Research Institute，MIRI）的人员，研究了智能爆炸是否可以安全发生的问题。^[26]最初，这项研究看起来很异想天开，难道这不是直接的“结束游戏”吗？但或许还有一丝希望。假设系列中的第一台机器“罗比·马克Ⅰ”是从对哈里特偏好的全面了解开始的。它知道自己的认知能力有限，在试图让哈里特开心的过程中会有不完美的情况出现，于是它建造了“罗比·马克Ⅱ”。从直觉上看，罗比·马克Ⅰ似乎有动机将它关于哈里特偏好的知识融入罗比·马克Ⅱ，因为这样可以让哈里特的偏好得到更好的满足，根据第一原则，这正是罗比·马克Ⅰ的目标。同理，如果罗比·马克Ⅰ对哈里特的偏好感到不确定，那么这种不确定也应该转移到罗比·马克Ⅱ身上。所以智能爆炸或许是安全的。

从数学的角度来看，美中不足的是，鉴于罗比·马克Ⅱ是假设的更高级的版本，罗比·马克Ⅰ会发现推理罗比·马克Ⅱ的行为方式并不容易。对于罗比·马克Ⅱ的行为，有些问题将是罗比·马克Ⅰ无法回答的。^[27]更严重的是，我们还没有一个清晰的数学定义来解释机器有特定的目的（比如满足哈里特的偏好）实际上意味着什么。

让我们简单分析一下最后这个顾虑。想想AlphaGo：它有什么目的？这很容易，有人可能会想，AlphaGo的目的是在围棋中取胜，难道不是吗？当然，AlphaGo并不能保证逢局必胜。（事实上，它几乎总是输给AlphaZero。）的确，当离棋局结束只有几步棋的时候，AlphaGo会找到必胜的那步棋（如果有的话）。而当没有任何一着棋可以保证获胜时，换言之，当AlphaGo发现无论它选择什么着法，对手都有获胜的策略时，那么AlphaGo会或多或少地随机选择着法。它不会抱着对手会犯错的希望去尝试最狡猾的着法，因为它假定对手会完美地对弈。它会表现得好像失去了获胜的意愿。在其他情况下，当真正的最佳着法太难计算时，AlphaGo有时会犯错误，从而导致输棋。在这些情况下，在何种意义上

AlphaGo是真的想赢？实际上，它的行为可能与一台只想给对手一盘激烈的棋局的机器相同。

因此，我们说AlphaGo“有获胜的目的”是将其过度简化了。更好的描述应该是，AlphaGo是一个不完美的训练过程的结果，即它用自我对弈进行强化学习，而获胜就是奖励。之所以说训练过程是不完美的，是因为它不可能培养出完美的围棋棋手：AlphaGo学习了一个虽优秀但不完美的围棋棋局的评价函数，并将其与一个虽优秀但不完美的前向搜索相结合。

所有这一切的最终结果是：以“假设机器人R有目的P”开始的讨论，对于获得关于事物如何发展的直觉是可以的，但不能获得关于真实机器的定理。我们需要对机器的用途进行更细致、更精确的定义，才能保证它们长期的行为。人工智能研究人员才刚刚开始掌握如何分析真正的决策系统，^[28]这只是最简单的一步，更不用说机器何时才能拥有足够强大的智能来设计它们的后继者了。我们还有许多工作要做。

[1] 费马大定理断言，当整数n>2时，关于a, b, c的方程aⁿ + bⁿ = cⁿ 没有正整数解。费马在他那本丢番图所写的《算术》的页边空白处写道：“我对这个命题有一个绝妙的证明，但是这个空白太窄了，写不下。”无论是真是假，这都让数学家们在接下来的几个世纪里积极地寻求证明。我们可以很容易地检查特定的情况，例如，7³是否等于6³+ 5³？（差不多，因为7³=343，6³+5³=341，但是“差不多”不行。）当然，有无限多种情况需要检查，这就是为什么我们需要数学家，而不仅仅是计算机程序员。

[2] 机器智能研究所的一篇论文提出了许多相关问题：Scott Garrabrant and AbramDemski, “Embedded agency,” AI Alignment Forum, November 15, 2018。

[3] 多属性效用理论的经典著作：Ralph Keeney and Howard Raiffa, Decisions with Multiple Objectives: Preferences and Value Tradeoffs (Wiley, 1976)。

[4] 介绍逆强化学习思想的论文：Stuart Russell, “Learning agents for uncertain environments,” in Proceedings of the 11th Annual Conference on Computational Learning Theory (ACM, 1998)。

[5] 关于马尔科夫决策过程的结构式估计方法的原始论文：Thomas Sargent,“Estimation of dynamic labor demand schedules under rational expectations,”Journal of Political Economy 86 (1978): 1009–44。

[6] 第 一 个 逆 强 化 学 习 算 法 ： Andrew Ng and Stuart Russell, “Algorithms forinverse reinforcement learning,” in Proceedings of the 17th InternationalConference on Machine Learning, ed. Pat Langley (Morgan Kaufmann, 2000)。

[7] 更 好 的 逆 强 化 学 习 算 法 ： Pieter Abbeel and Andrew Ng, “Apprenticeshiplearning via inverse reinforcement learning,” in Proceedings of the 21stInternational Conference on Machine Learning, ed. Russ Greiner and DaleSchuurmans (ACM Press, 2004)。

[8] 将 逆 强 化 学 习 理 解 为 贝 叶 斯 更 新 ： Deepak Ramachandran and Eyal Amir,“Bayesian inverse reinforcement learning,” in Proceedings of the 20th International Joint Conference on Artificial Intelligence, ed. Manuela Veloso(AAAIPress, 2007)。

[9] 如何教直升机飞行和进行特技飞行：Adam Coates, Pieter Abbeel, and Andrew Ng, “Apprenticeship learning for helicopter control,” Communications of the ACM 52 (2009): 97–105。

[10] 辅助博弈最初的名字是协同逆强化学习博弈（CIRL game ）。请参见： DylanHadfield-Menell et al., “Cooperative inverse reinforcement learning,” in Advances in Neural Information Processing Systems 29, ed. Daniel Lee et al. (2016)。

[11] 选择这些数字只是为了让游戏更有趣。

[12] 博弈的均衡解可以通过一个称为“迭代最佳响应”的过程找到：先为哈里特选择任意策略；然后根据哈里特的策略，为罗比选择最佳策略；然后根据罗比的策略，为哈里特选择最佳策略；以此类推。如果这个过程达到一个固定的点，在这个点上两个策略都不再改变，那么我们就找到了一个解决方案。该过程如下所示：

（1）从哈里特的贪婪策略开始：如果她喜欢回形针，就做2个回形针；如果她更喜欢订书钉，就做2个订书钉；如果她保持中立，就回形针和订书钉各做1个。

（2）鉴于哈里特的这种贪婪策略，罗比必须考虑3种可能性：

a 如果罗比看到哈里特做2个回形针，它就推断她更喜欢回形针，所以它现在认为回形针的价值在50美分到1美元之间呈均匀分布，平均75美分。在这种情况下，它的最佳计划是为哈里特制作90个回形针，预期价值为67.5美元。

b 如果罗比看到哈里特每种各做1个，它就推断她对回形针和订书针的估价都是50美分，所以它此时的最佳选择是每种各做50个。

c 如果罗比看到哈里特做了2个订书钉，那么此时与情况a同理，它应该做90个订书钉。

（3）鉴于罗比的这种策略，哈里特现在的最佳策略与第一步中的贪婪策略有些不同：如果罗比用每种各做50个来回应她每种各做1个，那么无论她是完全保持中立，还是完全无所谓，她的最佳策略都是每种各做1个。实际上，如果她认为回形针的价值大约在44.6美分到55.4美分之间，那么现在的最佳策略就是每种各做1个。

（4）鉴于哈里特的新策略，罗比的策略保持不变。例如，如果她每种各做1个，那么它推断，回形针的价值是均匀分布在44.6美分和55.4美分之间，平均50美分，所以最佳选择是每种各做50个。因为罗比的策略和步骤（2）相同，所以哈里特的最佳反应和步骤（3）相同，由此我们已经找到了均衡点。

[13] 关于关机博弈的更完整的分析，请参见Dylan Hadfield-Menell et al., “The off-switch game,” in Proceedings of the 26th International Joint Conference on Artificial Intelligence, ed. Carles Sierra (IJCAI, 2017)。

[14] 如果你不介意积分符号，那么一般性结果的证明很简单。假设P(u)是罗比的先验概率密度除以哈里特对建议动作a的效用。那么继续动作a的价值就是：

$$
\begin{array} { r } { E U ( a ) = \int _ { - \infty } ^ { \infty } P ( u ) \cdot u d u = \int _ { - \infty } ^ { \infty } P ( u ) \cdot u d u + \int _ { 0 } ^ { \infty } P ( u ) \cdot u d u } \end{array}
$$

（我们很快就会看到为什么以这种方式拆分积分。）另外，服从哈里特的动作d的值由两部分组成：如果u>0，则哈里特会让罗比继续，因此值为u，但是如果 $\because \mathrm { \Delta } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm { \Omega } \mathrm \mathrm { \Omega } \mathrm { \Omega } \mathrm \mathrm { \Omega } \mathrm { \Omega } \mathrm \mathrm { \Omega } \mathrm { \Omega \Omega } \mathrm \mathrm \Omega \mathrm { \Omega } \mathrm \mathrm { \Omega \Omega } \mathrm \mathrm \Omega \Omega \mathrm \Omega \mathrm { \Omega } \mathrm \mathrm \mathrm \Omega \Omega \Omega \Omega \mathrm \Omega \mathrm \Omega \mathrm \Omega \mathrm \mathrm \Omega \Omega \Omega \Omega \Omega \mathrm \Omega \mathrm \mathrm \Omega \mathrm \Omega \mathrm \Omega \mathrm \mathrm \Omega \mathrm \mathrm \Omega \mathrm \Omega \mathrm \mathrm \mathrm \Omega \mathrm \mathrm \Omega \mathrm \mathrm \mathrm \Omega \mathrm \mathrm \Omega \mathrm \mathrm \mathrm \mathrm \Omega \mathrm \mathrm \mathrm \mathrm \Omega \Omega \Omega \Omega \Omega \mathrm \Omega \mathrm \mathrm \mathrm \mathrm \Omega \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \Omega \mathrm \mathrm \Omega \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \Omega \mathrm \mathrm \mathrm \mathrm \Omega \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm \mathrm $ ，则哈里特会关闭罗比，因此值为0：

$$
\begin{array} { r } { E U ( d ) = \int _ { - \infty } ^ { 0 } P ( u ) \cdot 0 d u + \int _ { 0 } ^ { \infty } P ( u ) \cdot u d u } \end{array}
$$

比较EU（a）和EU（d）的表达式，我们会立即看到EU（d）≥EU（a），因为EU（d）的表达式负效用区域为零。只有当负区域的概率为0，即罗比已经确定哈里特喜欢提议的行动时，这两个选择才具有相等的价值。该定理是关于信息的非负期望值的著名定理的直接类比。

[15] 对于单人单机器的情况，也许下一步要详细阐述的是考虑一个还不知道自己对世界某些方面的偏好，或者还没有形成自己偏好的哈里特。

[16] 要了解罗比如何准确地收到一个错误的信念，请考虑一个模型，在这个模型中，哈里特有点不理性，她会犯错误，且犯错误的概率随着错误大小的增加而呈现指数级减小。罗比想用4个回形针换取哈里特1个订书钉，哈里特拒绝了。根据罗比的信念，这是不合理的：即使每个回形针25美分，每个订书钉75美分，她也应该接受4换1。因此，她一定是犯了错误，但如果回形针在她心中的真实价值是25美分，而不是30美分，这个错误就更有可能发生，因为如果回形针在她心中的真实价值是30美分，这个错误会让她损失更多的钱。现在，罗比的概率分布将25美分作为最有可能的值，因为它代表了哈里特方面的最小误差，大于25美分的值的概率呈指数级降低。如果它继续尝试同样的实验，概率分布变得越来越集中在接近25美分的位置。在极限情况下，罗比会确信哈里特的回形针价值是25美分。

[17] 例如，罗比对汇率的先验信念可能是从–∞到+∞的正态分布（高斯分布）。

[18] 可能需要的关于数学分析的示例，请参见：Avrim Blum, Lisa Hellerstein, and Nick Littlestone, “Learning in the presence of finitely or infinitely many irrelevant attributes,” Journal of Computer and System Sciences 50 (1995): 32 –40 。 另 请 参 见 ： Lori Dalton, “Optimal Bayesian feature selection,” in