人工智能时代：破解人机共存密码（套装共10册）

然后，我们可以用效用函数，而不是用目标，来描述不同结果或状态序列的可取性。通常，状态序列的效用表现为对序列中每个状态的奖励总和。给定机器一个由效用函数或奖励函数定义的目的，它的目标是产生最大化其期望效用或期望奖励总和的行为，即对可能的结果进行平均，并对其概率进行加权。现代人工智能在一定程度上重新启动了麦卡锡的梦想，除了用效用和可能性代替目标和逻辑之外。

伟大的法国数学家皮埃尔·西蒙·拉普拉斯（Pierre-SimonLaplace）在1814年写道：“概率论不过是把常识简化为微积分。”^[59]然而，直到20世纪80年代，人们才为概率知识开发了一种实用的形式语言和推理算法。这就是由朱迪亚·珀尔引入的贝叶斯网络语言（附录C）。粗略地讲，贝叶斯网络是命题逻辑的概率学表亲。一阶逻辑也有概率学表亲，包括贝叶斯逻辑^[60]和各种各样的概率编程语言。

贝叶斯网络和贝叶斯逻辑是以英国牧师托马斯·贝叶斯（ThomasBayes）的名字命名的，他对现代思想的持久贡献——现在被称为“贝叶斯定理”，是在他去世后不久，由他的朋友理查德·普莱斯（Richard Price）于1763年发表的。 ^[61] 正如拉普拉斯所说的那样，贝叶斯定理的现代形式以一种非常简单的方式描述了先验概率—一个人对一组可能性假设的初始可信度，是如何由于观察到一些证据而变成后验概率的。随着更多新证据的到来，后验成为新的先验，贝叶斯定理中更新的过程无限重复。这个过程非常基础，以至现代的理性思想，比如期望效用最大化，有时被称为“贝叶斯理性”。它假设一个理性的智能体可以获得一个后验概率分布，这一后验概率分布是基于当前世界可能的状态以及基于过去所有经验的关于未来的假设。

运筹学、控制理论和人工智能领域的研究人员也开发了各种各样的算法，用于在不确定的情况下做出决策，其中一些算法可以追溯到20世纪50年代。这些所谓的“动态规划算法”是前向搜索和规划的概率学表亲，可以为金融、物流、交通等各种实际问题提供最优或接近最优的行动计划，在这些问题中，不确定性起着重要作用（附录C）。目标被以奖励函数的形式输入这些机器中，输出则是一个策略，它为智能体可能进入的每种可能状态指定一个动作。

对于像西洋双陆棋和围棋这样的复杂问题，其状态的数量多到不计其数，而且只有在游戏结束时才会有奖励，因此前向搜索是行不通的。相反，人工智能研究人员开发了一种名为强化学习的方法。强化学习算法从环境中奖励信号的直接经验中学习，就像婴儿可以根据直立的正面奖励和跌倒的负面反馈学会站立一样。与动态规划算法一样，输入强化学习算法中的目标是奖励函数，而且强化学习算法会总结出一种状态值（有时是动作值）的估算器。该估算器可以与时间跨度相对较短的前向搜索相结合，产生高水平的行为。

第一个成功的强化学习系统是阿瑟·塞缪尔的西洋跳棋程序，1956年，该程序在电视上播出时引起了轰动。这个程序基本上是从零开始学习的，方法是自我对弈和观察赢棋的奖励与输棋的惩罚。^[62]1992年，格里·泰索罗（Gerry Tesauro）将同样的想法应用到西洋双陆棋中，该程序在经过150万盘的对弈后达到了世界冠军的水平。^[63] 从2016年开始，DeepMind的AlphaGo及其后续程序使用强化学习和自我对弈，战胜了围棋、国际象棋和日本将棋中最优秀的人类棋手。

强化学习算法还可以学习如何基于原始感知输入选择动作。例如，DeepMind的DQN系统完全从零开始学习玩49种不同的雅达利电子游戏，包括《乒乓球》《高速公路》《太空入侵者》等。^[64]它只使用屏幕像素作为输入，游戏分数作为奖励信号。在大多数游戏中，虽然DQN系统并没有时间、空间、物体、运动、速度以及射击的先验概念，但是该系统在经过学习之后，水平都超过了职业玩家。除了获胜之外，人们很难搞清楚DQN到底在做什么。

如果一个新生儿在出生后的第一天就学会了以超越人类的水平玩几十种电子游戏，或者成了围棋、国际象棋和将棋的世界冠军，那么我们可能会怀疑他被恶魔附体或被外星人干预了。然而请记住，所有这些任务都比现实世界简单得多：它们是完全可观察的，它们涉及的时间跨度很短，并且它们具有相对较小的状态空间和简单的、可预测的规则。如果我们放宽这些条件中的任何一个，都意味着标准方法将失效。

另外，目前的研究恰恰旨在超越标准方法，使人工智能系统可以在类别更广的环境中运行。例如，在我写前一段的那天，OpenAI（一家人工智能公司）宣布它的5个人工智能程序已经学会了在《Dota 2》游戏中击败经验丰富的人类团队。（为包括我在内的外行人解释一下：《Dota 2》是《Dota》的升级版，是魔兽家族的一款实时战略游戏，它是目前最赚钱、最具竞争性的电子竞技项目，奖金高达数百万美元。）《Dota 2》涉及沟通、团队合作、准连续时间和空间。游戏持续数万个时间步，因此某种程度的行为等级组织是必不可少的。比尔·盖茨将OpenAI的这一声明描述为“推进人工智能的一个巨大里程碑”。^[65]几个月后，该程序的更新版本击败了世界顶级职业《Dota2》团队。^[66]

像围棋和《Dota 2》这样的游戏是强化学习方法的一个很好的试验场，因为奖励函数是伴随着游戏规则的。然而，在现实世界中就不那么方便了，已经有几十个例子说明对奖励错误的定义会导致奇怪且出乎意料的行为。^[67]有些行为是无害的，比如模拟进化系统，它本应进化出快速移动的生物，实际上却产生了个头很高的生物，通过跌跟头快速移动。^[68]其他行为就没那么无害了，比如社交媒体的点击优化器，它把我们的世界搞得一团糟。

最后一类智能体程序是最简单的，它就是将感知与行动直接联系起来的程序，不需要任何中间的思考或推理。在人工智能中，我们称这种程序为“反射型智能体”，反射指的是人类和动物表现出的低级神经反射，这种反射不受思想的调节。^[69]例如，人类的眨眼反射将视觉系统中的低层处理电路的输出直接与控制眼睑的运动区域相连接，因此人类的视野中出现任何快速逼近的东西都会导致眨眼。现在你可以试着用手指轻戳自己的眼睛来测试。我们可以把这种反射系统看作一个简单的“规则”，其形式如下：

如果<视野中有快速逼近的东西出现>，就<眨眼>。

眨眼反射并不“知道自己在做什么”：目标（保护眼球免受异物伤害）没有任何体现；知识（快速逼近的东西对应于接近眼睛的物体，而接近眼睛的物体可能会伤害眼睛）也没有任何体现。因此，当你的非反射部分想要滴入眼药水时，反射部分仍然会眨眼。

另一种常见的反应是，当前面的汽车意外停车或行人进入道路时，车辆启用紧急制动。快速决定是否需要刹车并非易事：2018年，一辆处于无人驾驶模式的测试车撞死了一名行人，优步解释说，“当处于计算机控制时，车辆不启用紧急制动操作，以降低车辆行为不稳定的可能性”。^[70]在这里，人类设计者的目标很明确——不要撞死行人，但是智能体的策略（如果被激活）执行得不正确。同样，智能体也没有体现出目标。直到今天，没有一辆无人驾驶汽车知道人们不喜欢被撞死。

反射动作也在更常规的任务中发挥作用，例如让汽车保持在车道上行驶：当汽车稍稍偏离理想的车道位置时，一个简单的反馈控制系统可以向相反的方向转动方向盘来修正偏移。转动幅度的大小取决于汽车的偏离距离。这些类型的控制系统通常的设计目的是：使随时间累积的跟踪误差的平方最小化。设计者推导出一个反馈控制规律，即在关于速度和道路曲率的某些假设下，近似实现了这种最小化。^[71]当你站立的时候，你身体中一个类似的系统一直在运行。如果它停止工作，你会在几秒钟内摔倒。这就和眨眼反射一样，你很难关闭这个机制，任由自己摔倒。

反射型智能体虽然实现了设计者的目标，但它们不知道目标是什么，也不知道为什么要以某种方式行动。这意味着它们不能真正为自己做决定，而其他人，通常是人类设计者或生物进化过程，必须事先决定一切。除了玩井字游戏、进行紧急制动等非常简单的任务之外，人们很难通过手动编程创建良好的反射型智能体。即使在非常简单的情况下，反射型智能体也非常不灵活，当环境表明反射型智能体执行的策略不再合适时，它们也无法改变自己的行为。

如果要创建更强大的反射型智能体，一种可能的方法是从示例中学习（附录D）。人类可以提供决策问题的示例，以及在每种情况下要做出的正确决策，而不用为如何行动制定规则，也不用提供奖励函数或目标。例如，我们可以通过提供法语句子的示例以及正确的英语翻译来创建“法译英翻译智能体”。（幸运的是，加拿大和欧盟议会每年都会产生数百万这样的例子。）然后，监督学习算法会处理这些例子，生成一个复杂的规则，以任意法语句子作为输入，生成英语翻译。当前机器翻译领域最优秀的学习算法是所谓的深度学习的一种形式，它以人工神经网络的形式产生一个规则，这个人工神经网络有数百个层次和数百万个参数（附录D）。其他深度学习算法已经被证明非常擅长对图像中的物体进行分类，以及识别语音信号中的单词。机器翻译、语音识别和基于机器视觉的物体识别是人工智能中三个最重要的子领域，这就是为什么人们对深度学习的前景如此兴奋。

人们几乎可以无休止地争论深度学习是否会直接让人类水平的人工智能出现，我自己的观点是（我稍后会做解释），它远远不能满足我们的需要（附录D），但现在还是让我们专注于如何用这样的方法去适应人工智能的标准模型。在人工智能的标准模型中，算法优化了固定的目标。对深度学习或者任何监督学习算法来说，“把目的输入机器”通常是为了最大化预测精度，或者最小化误差（二者是等效的）。虽然这似乎显而易见，但实际上有两种方法可以用来理解它，这取决于习得的规则在整个系统中所扮演的角色。第一个角色是纯粹的感知角色：人工神经网络处理感官输入，并以概率估计的形式将感知到的信息提供给系统的其余部分。如果网络采用物体识别算法，它可能会说“70%的概率是诺福克㹴犬，30%的概率是诺威奇㹴犬”。^[72]系统的其余部分根据这些信息决定要采取的外部行动。这种纯粹的感知目标在以下意义上是没有问题的：与基于标准模型的“不安全”的人工智能系统不同，即使是“安全”的超级人工智能系统，其感知系统也需要尽可能准确，尽可能被精确地校准。

当我们从纯粹的感知角色转变为决策角色（第二个角色）时，问题就来了。例如，经过训练的用于识别物体的网络可能会自动为网站或社交媒体账号上的图片生成标签。贴这些标签是有后果的行为。每一个标记动作都需要一个实际的分类决策，除非保证每个决策都是完美的，否则人类设计者就必须提供一个损失函数，说明将A类物体错误地分类为B类物体所要付出的代价。这就是谷歌给人贴上大猩猩标签这一不幸事件的原因。2015年，一位名叫杰基·阿尔西内（JackyAlciné）的软件工程师在推特上抱怨说，谷歌照片的图片标签服务把他和他的朋友贴上了大猩猩的标签。^[73]虽然我们还不清楚这个错误究竟是如何发生的，但几乎可以肯定的是，谷歌的机器学习算法旨在最小化一个固定的、确定的损失函数，而且这个损失函数为所有错误分配了相等的代价。换句话说，它假设将一个人错误归类为大猩猩的代价与将诺福克㹴犬误归类为诺威奇㹴犬的代价等同起来。显然，这并不是谷歌（或谷歌用户）真正的损失函数，正如随之而来的公共关系灾难所表现出来的那样。

可能出现的图片标签有成千上万种，因此将一类物体误判为另一类物体可能会产生数百万种潜在的不同代价。即使尝试过，谷歌也会发现很难预先指定所有这些数字。相反，正确的做法是承认错误分类代价的不确定性，并设计一种对代价和代价不确定性适当敏感的学习和分类算法。这样的算法可能偶尔会问谷歌设计者一些问题，比如，“把狗误分类为猫或把人误分类为动物，哪个更糟糕？”此外，如果错误分类的代价存在很大的不确定性，算法很可能会拒绝标记某些图片。

2018年初，有报道称谷歌照片拒绝对大猩猩的照片进行分类。人们给出一张非常清晰的大猩猩带着两个幼崽的图片，它却说：“嗯……还没看清楚。”^[74]

我不想暗示说，人工智能采用标准模型在当时是一个糟糕的选择。一方面，在逻辑、概率和学习系统中，人们在开发标准模型的各种实例化方面已经做了大量出色的工作，由此产生的许多系统都非常有用。正如我们将在下一章中看到的，未来还会有更多的系统出现。另一方面，我们不能继续依赖惯常的做法，即通过反复试验来消除目标函数中的主要错误：智能日益提高、全球影响力日益增强的机器不会允许我们享受这种奢侈。

[1] 1英里≈1.6093千米。——编者注

[2] 圣地亚哥·拉蒙–卡哈尔（Santiago Ramón y Cajal）在1894年提出将突触变化作为学习发生的场所，但直到20世纪60年代末，这一假设才被实验证实。请参见：TimothyBliss and Terje Lomo, “Long-lasting potentiation of synaptic transmissionin the dentate area of the anaesthetized rabbit following stimulation of theperforant path,” Journal of Physiology 232 (1973): 331–56。

[3] 有关简介请参见：James Gorman, “Learning how little we know about the brain,”The New York Times, November 10, 2014 。 另 请 参 见 ： Tom Siegfried,

[16] 效 用 的 概 念 请 见 ： Daniel Bernoulli, “Specimen theoriae novae demensura sortis,”Proceedings of the St. Petersburg Imperial Academy ofSciences 5 (1738): 175–92 。伯努利的效用思想源于一个商人塞普罗尼乌斯（Sempronius），他需要考虑是用一艘船运输贵重货物，还是将货物平分给两艘船，假设每艘船在航行中有50%的概率会沉没。这两种解决方案的期望货币价值是相同的，但是塞普罗尼乌斯显然更喜欢分两艘船运输的解决方案。

[23] 很明显，这是一个无法在实践中实现的思想实验。对不同未来的选择从来不会被详尽地呈现出来，而人类在做出选择之前也从来没有机会仔细审视和品味这些未来。相反，一个人只能得到关于未来的简短的概括，比如当“图书管理员”或“煤矿工人”。在做出这样的选择时，实际上是要求一个人比较两个完整的未来的概率分布，一种是从选择当“图书管理员”开始，另一种是从选择当“煤矿工人”开始，每一种概率分布都假定这个人在未来都将采取最优行动。不用说，这并不容易。

[24] 第一次提到游戏的随机策略的文献是：Pierre Rémond de Montmort, Essayd’analyse sur les jeux de hazard, 2nd ed. (Chez Jacques Quillau, 1713)。这本书确定了一位“沃尔德格雷夫先生”（Monsieur de Waldegrave）作为卡牌游戏的最佳随机解决方案的来源。关于沃尔德格雷夫先生的身份细节，请参见：David Bellhouse,“The problem of Waldegrave,” Electronic Journal for History of Probabilityand Statistics 3 (2007)。

[25] 这个问题可以通过指定爱丽丝在4种情况下进球的概率来定义：（1）爱丽丝向鲍勃的右侧射门，鲍勃向右扑救；（2）爱丽丝向鲍勃的右侧射门，鲍勃向左扑救；（3）爱丽丝向鲍勃的左侧射门，鲍勃向右扑救；（4）爱丽丝向鲍勃的左侧射门，鲍勃向左扑救。在本例中，这4种情况的概率分别为25%、70%、65%和10%。现在假设爱丽丝的策略是以概率p向鲍勃的右侧射门，以概率1–p向鲍勃的左侧射门；而鲍勃以概率q向右扑救，以概率1–q向左扑救。则爱丽丝的回报是 $\begin{array} { c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c } { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & { { } } & \end{array}$ q)，而鲍勃的回报是UB= –UA。在平衡时，∂UA/∂p = 0且 ∂UB/∂q = 0，得到p =0.55, q= 0.60。

[26] 最初的博弈论问题是由兰德公司的梅里尔·弗勒德（Merrill Flood）和梅尔文·德雷希尔（Melvin Dresher）提出的。塔克在拜访他们的办公室时发现了回报矩阵，并讲了一个“故事”来说明它。

[27] 博弈论者通常说，爱丽丝和鲍勃可以互相合作（保持沉默），也可以背叛并告发对方。我觉得这种语言令人感到困惑，因为“互相合作”不是每个智能体都可以单独做出的选择，也因为人们经常谈论与警察合作，以合作换取减刑等。

[32] 图灵的突破性论文定义了现在所知的图灵机，它是现代计算机科学的基础。标题中的“Entscheidungsproblem”，或称决策问题，是一阶逻辑中的蕴涵判定问题：AlanTuring, “On computable numbers, with an application to the