人工智能时代：破解人机共存密码（套装共10册）

人类行为的另一个明显特征是，它们常常是由情感驱动的。在某些情况下，这是一件好事，像爱和感恩这样的情绪当然是我们偏好的组成部分，由它们引导的行动即使没有经过深思熟虑，可能也是理性的。在其他情况下，情绪反应导致的行为甚至连我们这些愚蠢的人都认为不是理性的，当然，这是事后的看法。例如，愤怒而又沮丧的哈里特扇了10岁的倔强的爱丽丝一巴掌，她可能会立即后悔自己的行为。观察到这一行为的罗比（通常，尽管并非在所有情况下）应该将这一行为归因于愤怒、沮丧和缺乏自制力，而不是出于自身原因的故意施虐。为了做到这一点，罗比必须对人类的情感状态有所了解，包括人类情感的起因、感情如何随着时间的推移对外部刺激做出反应，以及它们对行动的影响。神经科学家已经开始掌握一些情绪状态的机制，以及它们与其他认知过程的联系，^[36]并且在检测、预测和操纵人类情绪状态的计算方法方面做了一些有用的工作，^[37]但还有更多的东西需要学习。同样，在情感方面，机器也处于劣势：它们无法对体验进行内部模拟，以查看会产生何种情绪状态。

情绪除了会影响我们的行为，还揭示了关于我们潜在偏好的有用信息。例如，小爱丽丝可能拒绝做家庭作业，哈里特为此感到生气和沮丧，因为她非常希望爱丽丝在学校表现好，能比自己拥有更好的机会。如果罗比能够理解这一点，即使它自己不能亲身体验，它也能从哈里特不太理性的行为中学到很多。因此，人们应该有可能创建出人类情感状态的基本模型，从而足以避免根据行为推断人类偏好时出现的最严重的错误。

人类真的有偏好吗？

这本书的整个前提是，有些未来是我们想要的，有些未来是我们不想要的，比如人类在近期灭绝，或者世界像《黑客帝国》那样变成人类电池农场。在这个意义上讲，是的，人类当然有偏好。然而，一旦我们深入了解人类更希望自己的生活如何继续下去的细节，事情就变得更加扑朔迷离了。

不确定性和错误

如果你仔细想想，你就会发现人类有一个明显的特点，那就是并不总是知道自己想要什么。例如，榴梿会引起不同人的不同反应：有人觉得“榴梿的味道胜过世界上所有的水果”，^[38]也有人把它比作“污水、难闻的呕吐物、臭鼬喷雾、用过的外科棉签”。^[39]在出版本书之前，我刻意避免品尝榴梿，这样我就可以在这一点上保持中立：我根本不知道自己会站在哪一边。对于许多考虑未来职业、未来生活伴侣、未来退休生活等事情的人而言，情况可能也是如此。

偏好的不确定性至少有两种。第一种是真实的、认知上的不确定性，比如我对榴梿偏好的体验。^[40]再多的思考也解决不了这个不确定性。这是一个经验性的事实，我可以通过品尝一些榴梿，将我的DNA与喜欢榴梿的人和讨厌榴梿的人的DNA进行比较等，从而找到更多信息。第二个问题来自计算能力的限制：对于面前摆着的两盘围棋棋局，我不确定我更喜欢哪一盘棋局，因为无论哪一盘棋局我都无力下赢。

不确定性也源于这样一个事实，即呈现在我们面前的选择通常不是完全明确的，有时非常不完全，它们甚至根本不具备资格成为一项选择。当爱丽丝即将从高中毕业时，职业顾问可能会让她在“图书管理员”和“矿工”之间做出选择，她可能会很合理地说：“我不确定自己更喜欢哪一个。”在这里，不确定性来自她对自己偏好的认知不确定性，比如她对煤尘和书本灰尘的偏好；也来自她不清楚如何才能在每个职业选择中做出最佳选择的计算上的不确定性；还来自她对世界的一般不确定性，比如她怀疑当地煤矿是否会长期存在。

出于这些原因，通过在描述不完全的选项中做出简单的选择来确定人类的偏好是一个坏主意，这些选择很难评估，并且包含未知的可取性元素。这样的选择提供了潜在偏好的间接证据，但它们不是这些偏好的组成部分。这就是为什么我要提出关于未来生活偏好的概念，例如，想象你可以通过两部不同的电影来快速体验你未来的生活，然后在它们之间表达偏好（见第2章）。思想实验当然不可能在实践中进行，但人们可以想象，在许多情况下，在每一部电影的所有细节都被填充并被充分体验之前，一个清晰的偏好就已经出现了。即使事先给出了情节概要，你也可能事先不知道会喜欢哪一部，但是，基于你现在的身份，实际的问题是有答案的，就像当你品尝榴梿时，你是否喜欢榴梿这个问题会有答案一样。

你可能不确定自己的偏好，但这一事实不会对可证明有益的人工智能基于偏好的方法造成任何特殊问题。事实上，已经有一些算法考虑了罗比和哈里特对哈里特偏好的不确定性，并考虑到哈里特正在了解自己偏好的可能性，罗比也是如此。^[41]正如罗比可以通过观察哈里特的行为来减少哈里特偏好的不确定一样，哈里特也可以通过观察她自己对经历的反应来减少对自己偏好的不确定。这两种不确定性不一定是直接相关的，对于哈里特的喜好，罗比也未必比哈里特更不确定。例如，罗比或许能发现哈里特有强烈的遗传倾向，厌恶榴梿的味道。在这种情况下，即使哈里特完全不知情，罗比也不会对她的榴梿偏好有什么不确定性。

如果哈里特不能确定她对未来事件的偏好，那么很可能她也是错的。例如，她可能会确信自己不喜欢榴梿（或者比如说，绿皮鸡蛋和火腿），所以她不惜一切代价避免吃榴梿，但结果可能是，某天有人碰巧在她的水果沙拉里放了一些榴梿，她却发现榴梿是顶级的美味。因此，罗比不能假设哈里特的行为反映了她对自己偏好的准确了解：

其中一些可能完全基于经验，而另一些可能主要基于假设、偏见、对未知的恐惧和缺乏支持的概括。^[42]一个机智的罗比会对哈里特很有帮助，提醒她注意这种情况。

经验和记忆

一些心理学家质疑一种观点，这种观点认为，有一种自我的偏好是至高无上的，就像豪尔绍尼的偏好自主原则所暗示的那样。在这些心理学家中，最杰出的是我的前伯克利同事丹尼尔·卡尼曼（DanielKahneman）。卡尼曼因其在行为经济学方面的研究获得了2002年的诺贝尔奖，他是在人类偏好这一主题上最有影响力的思想家之一。他的著作《思考，快与慢》^[43]详细叙述了一系列实验，这些实验使他确信每个人有两个自我——经验自我和记忆自我，它们的偏好是互相冲突的。

经验自我是快乐测量仪度量的自我，19世纪英国经济学家弗朗西斯·埃奇沃思（Francis Edgeworth）把快乐测量仪想象成“一种理想的完美仪器，一台心理物理机器，可以精确地根据意识的判断，不断记录一个人体验到的快乐的程度”。^[44]根据享乐效益主义的说法，任何经验对一个人的整体价值只是经验中每一刻享乐价值的总和。这个概念同样适用于吃一个冰激凌或生活一辈子。

而当人们需要做决定时，记忆自我才是“负责人”。记忆自我基于以前经验的记忆和它们的可取性选择新的经验。卡尼曼的实验表明，记忆自我与经验自我有着截然不同的想法。

最容易理解的是一个让受试者的手浸入冷水中的实验。该实验有两种不同的模式：第一种是让受试者将手放在14摄氏度的水中浸泡60秒；第二种是让受试者将手放在14摄氏度的水中浸泡60秒，然后在15摄氏度的水中浸泡30秒。（这种温度与北加州的海洋温度相似，冷到几乎每个人在水里都穿着潜水服。）所有受试者都表示这是一次不愉快的经历。在经历了这两种模式之后（顺序任意，中间有7分钟的间隔），受试者被要求选择他们想要重复哪一种模式。绝大多数受试者更喜欢重复60秒+30秒这一种，而不是只浸泡60秒。

卡尼曼认为，从经验自我的角度来看，60秒+30秒的体验肯定比60秒的体验差，因为它包括60秒的不愉快的经历和另一段不愉快的经历。然而记忆自我选择了60秒+30秒这种模式。这是为什么？

卡尼曼的解释是，记忆自我戴着古怪的有色眼镜回顾过去，主要关注“峰值”（最高或最低的享乐值）和“终点值”（体验结束时的享乐值）。经验的不同部分的持续时间大多被忽略。在60秒和60秒+30秒的两种模式中，二者最大不适程度是相同的，但最终的不适程度是不同的：在60秒+30秒的情况下，最终的水温要高1摄氏度。如果记忆自我通过峰值和终点值来评估体验，而不是通过将享乐值随时间累加来评估，那么60秒+30秒的体验更好，这就是我们的发现。“峰值—终点值”模型似乎可以解释有关偏好的文献中许多其他同样奇怪的发现。

卡尼曼似乎对他的发现犹豫不决（这或许是恰当的）。他断言，记忆自我“只是犯了一个错误”，选择了错误的经验，因为它的记忆有缺陷且不完整。他认为这“对相信选择理性的人而言是个坏消息”。另一方面，他写道：“一个忽视人们需求的幸福理论是无法持续的。”例如，假设哈里特品尝过百事可乐和可口可乐，现在她非常喜欢百事可乐，那么根据每次实验期间采集的秘密快乐测量仪读数的累计值去强迫她喝可口可乐就是荒谬的。

事实是，没有任何定律要求我们在不同经验之间的偏好是由不同时刻的享乐价值总和来定义的。诚然，标准的数学模型关注的是奖励总和的最大化，^[45]但这种做法的最初动机是为了数学上的方便。技术性假设后来证明，根据累计的奖励做出决定是合理的，^[46]但这些技术性假设在现实中未必成立。例如，假设哈里特在以下两个快乐值序列中选择：［10，10，10，10，10］和［0，0，40，0，0］。她很有可能更喜欢第二个序列；没有数学定律能强迫她根据总和而不是最大值做出选择。

卡尼曼承认，由于预期和记忆在幸福感中起到的关键作用，情况变得更加复杂。一个人的婚礼，一个孩子的出生，用一个下午采黑莓和做果酱，这些单一且愉快的经历的记忆可以让一个人度过多年的苦恼和失望。也许记忆自我不仅评估经验本身，还通过它对未来记忆的影响，来评估它对未来生活价值的总体影响。或许，记忆自我而非经验自我是对将要记忆的内容的最佳评判。

时间和变化

毋庸置疑，生活在21世纪的理智的人不会愿意仿效公元2世纪罗马社会的偏好，那里充斥着为公共娱乐而进行的血腥角斗，以奴隶制为基础的经济，以及对战败国的残酷屠杀。（我们不必纠结于现代社会中与其相似的特征。）随着人类文明的进步，道德标准显然会随着时间的推移不断演变，你如果愿意，也可以说是堕落。这反过来又表明，我们现在对待动物的幸福的态度可能会让我们的后代十分反感。因此重要的是，负责实现人类偏好的机器能够随着时间的推移对这些偏好的变化做出反应，而不是一成不变。第7章中的三个原则以自然的方式适应了这种变化，因为它们需要机器来学习和实现当代人的当前偏好——许多完全不同的人的偏好，而不是一套理想化的偏好或可能早已去世的机器设计者的偏好。^[47]

随着历史的推移，人类群体的典型偏好可能会发生变化，因此我们自然会将注意力集中在每个人的偏好是如何形成的，以及成人偏好的可塑性问题上。我们的偏好当然会受到我们的生理特征的影响，例如，我们通常会避免疼痛、饥饿和口渴。然而，我们的生理特征仍然相当稳定，所以剩下的偏好一定受到文化和家庭的影响。孩子们很有可能一直在进行某种形式的逆强化学习，以识别父母和同伴的偏好，从而解释他们的行为，然后，孩子们将这些偏好作为自己的偏好。即使是成年人，我们的偏好也会受到媒体、政府、朋友、雇主和我们自身经历的影响而演变。例如，第三帝国的许多支持者很可能一开始并不是渴望种族纯洁的种族灭绝者。

偏好变化对个人和社会层面的理性提出了挑战。例如，豪尔绍尼的偏好自主原则是说，每个人都有权享有他所拥有的任何偏好，任何人都不应该触碰它们。然而，偏好并非不可触碰，而是随时都会被一个人的每一次经历所触碰和修改。机器会不由自主地修改人类的偏好，因为机器会改变人类的经验。

虽然区分偏好改变和偏好升级有时很难，但是这很重要，区分发生在这样一种时候：最初充满不确定的哈里特通过经验来学习更多她自己的偏好。偏好升级可以填补自我认知的空白，或许还可以为先前拥有的微弱且暂时的偏好增加确定性。另外，偏好改变并不是一个过程，不是“关于一个人的偏好实际上是什么”的额外证据。在极端的情况下，你可以把它想象成药物治疗甚至脑部手术的结果，它发生在我们可能不理解或不认同的过程中。

偏好改变是存在问题的，这至少有两个原因。第一个是，我们不清楚哪些偏好应该在做决定时起主导作用：是哈里特在做出决定时的偏好，还是她做出决定的事件发生期间和之后将拥有的偏好。例如，在生物伦理学中，这是一个非常现实的两难境地，因为人们在患重病后对医疗干预和临终关怀的偏好确实会发生巨大的变化。^[48]假设这些变化不是由智力下降造成的，那么谁的偏好应该得到尊重呢？^[49]

第二个是，似乎没有明显的理性基础来改变（而不是更新）一个人的偏好。如果哈里特喜欢A甚于B，但她可以选择经历一段她知道会使她喜欢B甚于A的经历，她为什么要这样做？结果她会选择B，而这是她目前不想要的。

在“尤利西斯和塞壬”的传说中，偏好改变以戏剧化的形式出现。塞壬是神话中的生物，它们的歌声会蛊惑水手走向他们的噩运，船舶会撞到地中海某些岛屿的岩石，然后沉没。尤利西斯想听这首歌，他命令他的水手们用蜡塞住耳朵，把他绑在桅杆上，然而在任何情况下，他们都不会服从他随后提出的释放他的请求。很明显，他希望水手们尊重他最初的偏好，而不是塞壬蛊惑他之后的偏好。这个传说成了挪威哲学家乔恩·埃尔斯特（Jon Elster）的一本书的书名，^[50]这本书探讨了意志的弱点以及对理性理论的其他挑战。

为什么智能机器会故意改变人类的偏好？答案很简单：让偏好更容易被满足。我们在第1章的社交媒体点击率优化案例中看到了这一点。一种回应可能是，机器必须将人类的偏好视为神圣不可侵犯的，不能允许任何事情改变人类的偏好。不幸的是，这是完全不可能的。一个有用的机器人助手的存在，很可能会对人类的偏好产生影响。

一种可能的解决方案是让机器学习人类的“元偏好”，即关于哪种类型的“偏好改变过程”可以接受或不可接受的偏好。请注意，此处使用的是“偏好改变过程”，而不是“偏好改变”。这是因为想要一个人的偏好朝着特定方向改变，往往等于已经拥有了那个偏好。在这种情况下，我们真正需要的是更好地贯彻偏好的能力。例如，如果哈里特说，“我想改变我的偏好，那样我就不像现在这样这么想吃蛋糕了”，那么她就已经有了未来少吃蛋糕的偏好，她真正想要的是改变她的认知结构，让她的行为更能反映这种偏好。

我所说的“关于哪种类型的偏好改变过程可以接受或不可接受的偏好”，是想表达这样一种观点，例如，一个人可以通过周游世界来体验各种文化，或者通过参加一个充满活力的知识分子社区来探索广泛的道德传统，又或者通过留出一些隐逸的时间来反思和认真思考生活及其意义，最终获得“更好的”偏好。我将这些过程称为“中性偏好”，因为人们并不认为这个过程会在任何特定方向上改变自己的偏好，与此同时，我意识到有些人可能会强烈反对这种描述方法。

当然，并非所有中性偏好都是可取的，例如，很少有人期望通过敲打自己的脑袋来培养“更好的”偏好。让自己接受一个可接受的偏好改变过程，就像进行一个实验来了解世界是如何运行的：你永远不会事先知道实验的结果，但尽管如此，你还是希望在新的精神状态下过得更好。

修正偏好有可接受的途径，这一观点似乎与改变行为有可接受的方法的观点有关。例如，雇主可以通过设计选择情境，让人们对“为退休而存钱”做出“更好”的选择。这通常可以通过操纵影响选择的“非理性”因素来实现，而不是通过限制选择或对糟糕的选择“征税”来实现。经济学家理查德·塞勒（Richard Thaler）和法律学者卡斯·桑斯坦（Cass Sunstein）合著的《助推：如何做出有关健康、财富与幸福的最佳决策》一书提出了各种可以接受的方法和机会，以求“影响人们的行为，使他们过上更长寿、更健康、更美好的生活”。

我们目前还不清楚“行为改变方法”是否真的只是在改变行为。如果当助推被去掉时，改变后的行为持续存在——这可能是此类干预的预期结果，那么个体的认知结构（将潜在偏好转化为行为的东西）或个体的潜在偏好就会发生变化，看起来很可能二者兼而有之。然而，显而易见的是，助推策略假设每个人都偏爱“更长寿、更健康、更美好”的生活；每一次助推都基于对“更好”生活的特定定义，这似乎违背了偏好自主的原则。相反，设计中性偏好的辅助过程可能会更好，它帮助人们使他们的决策和认知结构更符合他们的潜在偏好。例如，我们可以设计认知助手来强调决策的长期后果，并教人们认识到当前这些后果的根源来自何方。^[51]

我们需要更好地理解人类偏好的形成和塑造过程，这是显而易见的，因为这样的理解将帮助我们设计机器，避免社交媒体内容选择算法造成的人类偏好的意外变化和不良变化。当然，有了这种理解，我们就会忍不住去设计一些改变，让世界变得“更美好”。

有人可能会认为，我们应该为中性偏好的“改善”提供更多的机会，例如旅行、辩论以及培养分析和批判性思维。比如，我们可以为每个高中生提供机会，让他们至少在两种不同于他们自己的文化中生活几个月。

然而，几乎可以肯定的是，我们会想更进一步，例如，通过实施社会和教育改革，提高利他主义系数，即每个人对他人幸福的重视程度，同时降低施虐、骄傲和嫉妒的系数。这是个好主意吗？我们应该动员我们的机器来辅助这个过程吗？这当然很诱人。的确，亚里士多德写道：“政治的主要任务是在公民身上培养出某种品质，让他们善良，并能够拥有高尚的行为。”可以这么说，在全球的范围内开展有意的偏好工程是存在风险的。我们应该极度谨慎地进行。

[1] 一些人认为生物学和神经科学也直接相关。请参见：Gopal Sarma, Adam Safron, and Nick Hay, “Integrative biological simulation, neuropsychology, and AI safety,” arxiv.org/abs/1811.03493 (2018)。

[2] 关 于 让 计 算 机 承 担 损 害 赔 偿 责 任 的 可 能 性 ： Paulius Čerka, JurgitaGrigien3e,and Gintar3e Sirbikyt3e, “Liability for damages caused byartificial intelligence,”Computer Law and Security Review 31 (2015): 376–89。

[3] 关于标准道德理论及其对设计人工智能系统的影响的介绍，请参见：WendellWallach and Colin Allen, Moral Machines: Teaching Robots Right fromWrong(Oxford University Press, 2008)。

[4] 效 益 主 义 思 想 的 原 始 资 料 ： Jeremy Bentham, An Introduction to thePrinciples of Morals and Legislation (T. Payne & Son, 1789)。

[5] 穆勒对其导师边沁思想的阐述对自由主义思想产生了非凡的影响：John StuartMill, Utilitarianism (Parker, Son & Bourn, 1863)。

[6] 介绍偏好效益主义和偏好自主权的论文：John Harsanyi, “Morality and the theory of rational behavior,” Social Research 44 (1977): 623–56。

[7] 当代表多个个体决策时，通过效用加权和进行社会聚合的一个论点：JohnHarsanyi, “Cardinal welfare, individualistic ethics, and interpersonalcomparisons of utility,” Journal of Political Economy 63 (1955): 309–21。