人工智能时代：破解人机共存密码（套装共10册）

结果证明，赌博在推广亚里士多德关于不确定性的建议中起了核心作用。16世纪60年代，意大利数学家杰罗拉莫·卡尔达诺（Gerolamo Cardano）以掷色子游戏为主要例子，第一个提出了在数学上精确的概率论。（不幸的是，他的著作直到1663年才出版。^[14] ）17世纪，包括安托万·阿尔诺（Antoine Arnauld）和布莱兹·帕斯卡（Blaise Pascal）在内的法国思想家开始研究赌博中的理性决策问题，这当然是出于数学上的原因。^[15]请看以下两个赌局：

赌局A：有20%的机会赢得10美元

赌局B：有5%的机会赢得100美元

数学家对此提出的建议可能和你的想法是一样的：比较两个赌局的期望值，即你期望从每次下注中得到的平均金额。对于赌局A，赌客的期望值是10美元乘以20%，即2美元。对于赌局B，赌客的期望值是100美元乘以5%，即5美元。因此，根据这个理论，赌局B更好。这个理论是有道理的，因为如果同样的赌注被一次又一次地开出，那么遵守这一规则的赌客最终会比不遵守它的人赢得更多的钱。

18世纪，瑞士数学家丹尼尔·伯努利（Daniel Bernoulli）注意到，这个规则似乎不适用于金额较大的情况。^[16]例如，请看以下两个赌局：

赌局A：有100%的机会获得10 000 000美元（期望值是10 000000美元）

赌局B：有1%的机会获得1 000 000 100美元（期望值是10000 001美元）

这本书的大多数读者，以及笔者本人，都更喜欢赌局A甚于赌局B，即便这与期望值规则相悖！伯努利假设，对赌局进行评估不能根据期望的货币价值，而是要根据预期的效用。他认为，效用即对一个人有用或有益的属性，这是一种内在的、主观的数量，与货币价值有关，但与货币价值不同。特别值得注意的是，效用相对于金钱收益递减。这意味着给定金额的货币的效用并不严格地与金额成正比，而是增长得更慢。例如，在上面的例子中，获得1 000万美元的效用比获得10亿零100美元的效用大了远远不止100倍。那么大多少？你可以问自己！你赢得10亿零100美元的概率达到多少才能让你放弃100%赢得1000万美元的机会？我拿这个问题问了我班上的研究生，他们的答案大约是50%，这意味着赌局B的期望值要达到约5亿美元才能与赌局A的可取性相匹配。那时赌局B的期望值约为赌局A的50倍，但两个赌局的效用相同。

伯努利引入了效用这一无形的属性，通过数学理论来解释人类行为，这在当时是非常了不起的。更值得注意的是，与货币金额不同的是，各种赌局和奖品的效用价值是无法被直接观察到的，只能从个人表现出的偏好中被推断出来。直到两个世纪后，效用这个概念才被完全理解，并被统计学家和经济学家广泛接受。

20世纪中叶，约翰·冯·诺依曼（John von Neumann，一位伟大的数学家，计算机领域标准的“冯·诺依曼体系结构”就是以他的名字命名的 ^[17] ）和奥斯卡·摩根斯坦（Oskar Morgenstern）发表了效用理论的公理基础。^[18]这意味着，只要个体表现出的偏好满足任何理性主体都应该满足的某些基本公理，那么这个人所做的选择必然可以被描述为最大化期望效用函数。简而言之，理性个体的行为是为了最大化期望效用。

这个结论的重要性不言而喻。在许多方面，人工智能主要是研究如何构建理性机器的细节。

让我们更详细地看看理性实体应该满足的公理。有一条公理叫作传递性：如果你喜欢A甚于B，喜欢B甚于C，那么你喜欢A甚于C。这似乎很合理！（如果你喜欢香肠比萨胜过原味比萨，喜欢原味比萨胜过菠萝比萨，那么你会选择香肠比萨而不是菠萝比萨，这似乎是合理的预测。）还有一条公理叫作单调性：假设买一种彩票可能得到奖品A，买另一种彩票可能得到奖品B，你喜欢奖品A甚于奖品B，并且你只可以选择这两种彩票，那么你会更倾向于选择得到奖品A的概率最高的彩票，而不是得到奖品B的概率最高的彩票。这同样很合理。

偏好不仅仅和比萨以及有奖品的彩票有关。它们可以是任意事情，特别值得注意的是，它们可以和你未来的一生以及其他人的一生有关。在处理随时间变化的事件序列的偏好时，通常会有一个附加的假设，这个假设叫平稳性：如果两个不同的未来——A和B，以相同的事件开始，并且你喜欢A甚于B，那么在事件发生后，你仍然喜欢A甚于B。这听起来很合理，但它有一个出人意料的强烈后果：任何事件序列的效用，都是与每个事件相关的奖励的总和（可能随着时间的推移，通过某种心理利率打折）。^[19]尽管这种“效用作为奖励的总和”的假 设 广 为 流 传 —— 至 少 可 以 追 溯 到 18 世 纪 效 益 主 义（utilitarianism，旧译为“功利主义”）的创始人杰里米·边沁（Jeremy Bentham）的“幸福计算”，但它所基于的平稳性假设不是理性主体的必要属性。平稳性排除了一个人的偏好可能会随着时间而改变的可能性，而我们的经验表明这种可能性是存在的。

尽管这些公理是合理的，而且从中得出的结论也很重要，但是从效用理论被广泛传播开始，该理论就一直遭到接二连三的反对。有人鄙视它，认为它把一切都归结为金钱和自私。（这一理论被一些法国作家嘲笑为“美国式的”，虽然它起源于法国。^[20]）事实上，仅仅因为希望减少他人的痛苦，而去过一种自我否定的生活，这也是完全理性的。利他主义仅仅意味着在评估未来时，要充分重视他人的福祉。

另一系列反对意见认为，获得必要的概率和效用值，并将它们相乘来计算期望效用，这是很有难度的。这些反对意见混淆了选择理性行为和通过计算期望效用来选择理性行为这两件不同的事情。例如，如果你试图用手指戳自己的眼球，你就会闭上眼睑保护你的眼睛，这是合理的，但这里并不涉及对期望效用的计算。或者假设你骑着一辆没有刹车的自行车下山，你要在两种选择之间做出选择：一种是以每小时10英里的速度撞上一面混凝土墙，另一种是以每小时20英里的速度撞上山下的另一面墙。你会怎么选？如果你选择了前者，那么恭喜你！你计算过期望效用吗？可能没有。但是选择前者仍然是合理的。这基于两个基本假设：第一，比起更严重的伤害，你宁愿选择不太严重的伤害；第二，对于给定的任意伤害级别，提高碰撞时的速度很可能会提高伤害的级别。从这两个假设出发，从数学上（完全不考虑任何数字）可以得出，以每小时10英里的速度撞墙比以每小时20英里的速度撞墙具有更高的期望效用。^[21]总之，最大化期望效用可能不需要计算任何预期或任何效用。这纯粹是对理性实体的外部描述。

对理性理论的另一种批判在于如何确定决策的源头。也就是说，什么东西算智能体？似乎很明显，人类是智能体，但是家庭、部落、公司、文化和民族国家是智能体吗？如果我们研究的是像蚂蚁这样的社会性昆虫，那么将单只蚂蚁视为一个智能体是否有意义？或者智能是否真的存在于整个蚂蚁群体中，由多只蚂蚁的大脑和身体组成的复合脑通过信息素而不是电信号相互联系？从进化的角度来看，这可能是一种更有效的了解蚂蚁的方式，因为特定群体中的蚂蚁通常关系密切。作为个体，蚂蚁和其他社会性昆虫缺乏自我保护的本能，因为自我保护与群体保护截然不同：它们总会投入与入侵者的战斗中，即使等同于自杀也奋不顾身。然而，有时人类也会这样做，甚至会为了保护不相关的人而这样做。这就好像整个物种受益于某些个体的存在，这些个体愿意在战斗中牺牲自己，或是愿意踏上未知的探险之旅，或是愿意去养育他人的后代。在这种情况下，将理性的分析完全集中在个体身上显然遗漏了一些重要的东西。

对效用理论的主要反对意见来自经验主义，也就是说，这些意见是基于实验证据的，而这些实验证明：人类是非理性的，我们无法以系统的方式遵循公理。^[22]我在这里的目的并不是为效用理论作为人类行为的正式模型进行辩护。的确，人类不可能完全理性行事。无论是现在还是将来，我们的偏好都会延伸到我们自己未来的生活，我们子孙后代的生活，以及其他人的生活之中。然而，我们甚至不能在棋盘上走出正确的步法，尽管棋盘很小，布局简单，规则明确，下一局棋不用花费很长的时间。这并不是因为我们的偏好是非理性的，而是因为决策问题的复杂性。我们的认知结构在很大程度上是为了填补一条鸿沟而存在的，这条鸿沟就是我们小而迟钝的大脑和我们一直面临的难以理解的复杂决策问题之间的鸿沟。

因此，虽然将“有益的人工智能”（Beneficial AI，后简称“有益的AI”）理论建立在“人类是理性的”这一假设之上非常不合理，但假设成年人对未来生活有大体一致的偏好则非常合理。也就是说，如果你看了两部电影，每一部都足够详细和广泛地描述了你在未来可能过上的生活，这样每一部就都构成了一种虚拟的体验，你可以说自己更喜欢哪一部，或者表示中立。^[23]

如果我们唯一的目标是确保足够智能的机器不会对人类造成灾难性的后果，那么这种说法可能比我们想象中的更为严重。“灾难”的概念本身就意味着这是一种绝对不受人欢迎的生活。因此，为了避免灾难，我们只需要宣称，当一个灾难性的未来被详细描述时，成年人是能够认识到它的。当然，与“无灾无难总比受灾好”相比，人类的偏好有更精细的结构，而且确定性更高。

事实上，“有益的AI”这一理论可以适应人类偏好的不一致，但是你的偏好中不一致的部分将永远无法得到满足，人工智能也无能为力。例如，假设你对比萨的偏好违反了传递性公理，那么下面这个场景就可能出现：

机器人：欢迎回家！想吃菠萝比萨吗？

你：不，你应该知道，比起菠萝比萨，我更喜欢原味比萨。

机器人：好的，一张原味比萨马上就好！

你：不用了，谢谢，我更喜欢香肠比萨。

机器人：对不起，改成一张香肠比萨！

你：事实上，比起香肠比萨，我更喜欢菠萝比萨。

机器人：我错了，改成菠萝比萨！

你：我已经说过了，比起菠萝比萨，我更喜欢原味比萨。

机器人无法提供让你满意的比萨，因为总会有另一种你更喜欢吃的比萨。机器人只能满足你的偏好中一致的部分，例如，假设比起没有比萨吃，你更喜欢有比萨吃。在这种情况下，一个乐于助人的机器人可以提供给你三种比萨中的任意一种，从而让你避免“没有比萨吃”，而且让你在闲暇时可以思考你那令人讨厌的比萨口味偏好。

两个人的理性

理性主体的行为是为了最大化期望效用，这一基本思想非常简单，但实际上做起来出奇地复杂。然而，这一理论只适用于单一个体单独行动的情况。如果有多个个体，那么为一个人行为的不同结果分配概率的构想（至少在原则上）就变得有问题了。原因是，现在，世界的一部分，即另一个主体，正试图猜测你要做什么，反之亦然，所以我们不清楚如何给世界上这一部分人的行为分配概率。如果没有概率，那么将理性行为定义为最大化期望效用就无法适用。

一旦其他人出现，智能体就需要其他方法来做出理性的决策。这就是博弈论的用武之地。尽管它叫作博弈论，但它并不一定是通常意义上的博弈。这是一种将理性的概念拓展到有多个主体的情况的一般尝试。这对我们设定目标来说显然很重要，因为我们还没有计划建造生活在其他星系中无人居住的星球上的机器人，我们要把机器人放到我们居住的世界里。

为了说明为什么我们需要博弈论，让我们来看一个简单的例子：爱丽丝和鲍勃在花园踢足球（图3）。爱丽丝将要踢点球，鲍勃守门。爱丽丝准备把球踢向鲍勃的左边或右边。因为爱丽丝习惯用右脚，所以对爱丽丝而言，把球踢向鲍勃的右边更容易也更准确。因为爱丽丝射门的力道很猛，鲍勃知道他必须立即选择一个方向扑球，他没有时间等着看球往哪个方向飞。鲍勃可以这样推理：“如果爱丽丝向我右边射门，她得分的机会更大，因为她习惯用右脚射门，她会选择右边，所以我要向右扑救。”但是爱丽丝不是傻瓜，她可以想象鲍勃是这样想的，在这种情况下，她会朝鲍勃的左边射门。但是鲍勃也不是傻瓜，他也可以想象爱丽丝是这样想的，在这种情况下，他会向左扑救。但是爱丽丝依然不是傻瓜，可以想象鲍勃是这样想的……好的，你明白了。换言之，如果爱丽丝有一个理性的选择，鲍勃就能找出这种选择，并预测它，阻止爱丽丝得分，所以这个选择从一开始就不可能是理性的。

早在1713年，同样是在对赌博游戏的分析中，人们发现了这个难题的解决方案。^[24]诀窍是不选择任何一个行动，而是选择随机策略。例如，爱丽丝可以选择“以55%的概率踢向鲍勃的右边，以45%的概率踢向鲍勃的左边”。鲍勃可以选择“以60%的概率向右扑救，以40%的概率向左扑救”。在行动之前，每个人都会在心里抛一枚带有适当偏差的硬币，这样他们就不会泄露自己的意图。通过不可预测的行为，爱丽丝和鲍勃避免了前文中的矛盾。即使鲍勃知道爱丽丝要采取随机策略，没有水晶球的他也无能为力。

下一个问题是，概率应该是多少？爱丽丝选择55%对45%是合理的吗？具体的数值取决于爱丽丝向鲍勃右边射门时的准确度、鲍勃向右扑救时的救球能力等。（完整的分析请见注释。^[25]）然而，通用标准很简单：

1. 假设鲍勃的策略是固定的，爱丽丝的策略是她能想到的最佳策略。

1. 假设爱丽丝的策略是固定的，鲍勃的策略是他能想到的最佳策略。

如果这两个条件都满足，我们就说策略处于均衡状态。为了纪念约翰·纳什（John Nash），这种均衡被称为纳什平衡。1950年，22岁的纳什证明了无论游戏规则如何，这样的均衡都存在于任意数量的理性主体之间。在与精神分裂症斗争了几十年之后，纳什最终康复了，并因为这一发现在1994年获得了诺贝尔经济学奖。

在爱丽丝和鲍勃的足球比赛中，只有一个均衡。在其他情况下，则可能有若干个均衡，所以纳什平衡的概念不同于期望效用决策，纳什平衡并不总是只有唯一的行动建议。

更糟糕的是，在某些情况下，纳什平衡会导致非常令人不快的结果。其中一个例子就是著名的“囚徒困境”，这是纳什的博士生导师阿尔伯特·塔克（Albert Tucker）在1950年提出来的。 ^[26] 囚徒困境是现实世界中一些非常常见的情况的抽象模型，在这些情况下，虽然相互合作对所有相关的人都有好处，但人们仍然会选择同归于尽。

囚徒困境是这样一种博弈，假设爱丽丝和鲍勃是犯罪嫌疑人，正在分别接受审讯。每个人都有一个选择，要么向警方坦白并告发自己的同伙，要么拒绝招供。^[27]如果二人都拒绝招供，他们都会被判处较轻的罪名，各服刑2年；如果两人都招供，他们将被判处更严重的罪名，各服刑10年；如果一个坦白，另一个拒绝招供，那么坦白的人会被释放，而拒绝招供的人则要服刑20年。

现在，爱丽丝的理由如下：“如果鲍勃要坦白，那么我也应该坦白（判10年总比20年好）；如果他拒绝招供，那么我还是应该坦白（获得自由总比在监狱里待2年好）。所以不管怎样，我都应该坦白。”鲍勃也是这样推理的。因此，他们最终都认了罪，各服刑10年，尽管他们共同拒绝招供只需各服刑2年。问题是，共同拒绝招供不是纳什平衡，因为每个人都有动机“叛变”，并通过坦白获得自由。

请注意，爱丽丝也可以这样推理：“无论我怎么推理，鲍勃也会这样做。所以我们最终都会做出同样的选择。既然共同拒绝招供比共同坦白好，我们就应该拒绝招供。”这种形式的推理认为，作为理性主体，爱丽丝和鲍勃的选择是相关的，而不是相互独立的。这只是博弈论学者试图为囚徒困境找到的不那么令人沮丧的众多解决方案之_一。[28]

另一个令人不快的均衡失衡的著名例子是“公地悲剧”，英国经济学家威廉·劳埃德（William Lloyd）于1833年首次分析了这一理论，^[29]但生态学家加勒特·哈丁（Garrett Hardin）于1968年将其命名为公地悲剧，并引起了全球范围的关注。^[30]当几个人可以消费共享资源，比如共享牧场或鱼类资源时，悲剧就会发生。在没有任何社会或法律约束的情况下，自私（非利他）的主体之间唯一的纳什平衡就是每个主体尽可能多地消费，这会导致资源迅速枯竭。理想的解决方案是，每个人都分享资源，使总消费是可持续的，这不是一种均衡，因为每个人都有作弊的动机，拿走比公平份额更多的资源，从而将损失强加于他人。当然，在实践中，人类有时确实会通过惩罚、建立配额或定价机制来避免这种悲剧的发生。人们可以这样做，因为他们不仅仅可以决定消费多少，也可以决定进行沟通。通过以这种方式拓展决策问题，我们找到了对每个人都更好的解决方案。