人工智能时代：破解人机共存密码（套装共10册）

现代社会选择理论的创始人、1972年诺贝尔奖得主、美国经济学家肯尼斯·阿罗（Kenneth Arrow）同样坚定地表示：

这里采取的观点是，人际效用比较没有任何意义，事实上，就个人效用的可衡量性而言，对幸福感做比较没有意义。

杰文斯和阿罗所说的困难在于，没有任何明显的方法可以根据自己的主观幸福感来判断爱丽丝将针刺和棒棒糖的价值定为–1和+1，还是–1 000和+1 000。无论在哪种情况下，她都会愿意付出一根棒棒糖来避免一次针刺。事实上，如果爱丽丝是一个类人机器人，即使她没有任何主观的快乐体验，她的外部行为可能也是一样的。

1974年，美国哲学家罗伯特·诺齐克（Robert Nozick）提出，即使可以对效用进行人际比较，最大化效用的总和仍然不是一个好主意，因为这会与“效用怪兽”——一个快乐和痛苦的体验比普通人强烈许多倍的人相冲突。^[16]可以断言，任何额外的资源单位，如果给予了这类人而不是其他人，都会更为增加人类幸福的总和，其实，从其他人那里移除资源来造福“效用怪兽”也是一个好主意。

这是一个明显不可取的结果，但结果主义本身并不能解决问题：问题在于我们如何衡量结果的可取性。一种可能的反应是，“效用怪兽”仅仅是理论上的，因为现实中根本没有这样的人。但这种反应可能行不通：从某种意义上讲，相对于老鼠和细菌，所有的人类都是“效用怪兽”，这就是为什么我们在制定公共政策时很少关注老鼠和细菌的偏好。

如果不同的实体有不同的效用尺度的想法已经建立在我们的思维方式中，那么不同的人有不同的尺度也是完全可能的。

另一种反应是说“真倒霉！”并假设每个人都有相同的尺度，即便事实并非如此。^[17]人们也可以尝试用杰文斯所不具备的科学手段来研究这个问题，例如测量多巴胺水平，或者测量与快乐和痛苦相关的神经元的电兴奋程度。如果爱丽丝和鲍勃对棒棒糖的化学反应、神经反应，以及他们的行为反应（微笑、咂嘴唇的声音等）几乎是相同的，那么坚持认为他们的主观快乐程度相差成千上万倍就显得很奇怪。最后，我们可以使用通用货币，比如时间（我们都有大致相同的时间），例如，要拿到棒棒糖需要在机场候机室多等待5分钟，以此来和针刺进行比较。

我远不如杰文斯和阿罗悲观。我认为比较个人效用确实有意义，尺度可能有所不同，但通常不会差很多倍，机器可以从宽泛的关于人类偏好尺度的先验信念开始，通过长时间的观察来了解更多关于个体尺度的信息，这或许可以将自然观察与神经科学研究的发现联系起来。

第二场辩论是关于不同规模人口之间的效用比较，当决策对未来的人产生影响时，这一点很重要。例如，在电影《复仇者联盟：无限战争》中，灭霸这个角色发展并实施了一个理论：如果人口减半，剩下的每个人的幸福感都会增加一倍以上。这是一种幼稚的计算，让效益主义名声扫地。^[18]

1874年，英国哲学家亨利·西奇威克（Henry Sidgwick）在他的著作《伦理学方法》中讨论了同样的问题，^[19]只是没有漫威电影中的无限宝石和庞大的预算而已。西奇威克显然同意灭霸的观点，他的结论是，正确的选择是调整人口规模，直到所有人的总幸福达到最大化。（显然，这并不意味着无限制地增加人口，因为到某个时候，所有人都会饿死，所以会非常不幸福。）1984年，英国哲学家德里克·帕菲特（Derek Parfit）在他开创性的著作《理与人》中再次提出了这个问题。^[20] 帕菲特认为，相较于任何有N个非常幸福的人的情况，根据效益主义原则，有2N个幸福程度稍差的人，这种情况更好。这似乎很有道理。不幸的是，这是一个滑坡谬误。通过重复这一过程 ， 我 们 得 出 了 所 谓 的 “ 令 人 厌 恶 的 结 论 ” （ Repugnant

Conclusion，首字母通常大写，或许是为了强调其来自维多利亚时代）：最理想的情况是人口众多，所有人都过着几乎不值得过的生活。

可以想象，这样的结论是有争议的。帕菲特自己奋斗了30多年，力图解决自己提出的难题，但他没有成功。我认为我们缺少了一些基本的公理，类似于个人理性偏好的公理，来处理不同规模和幸福水平的群体之间的选择。^[21]

解决这个问题对我们来说很重要，因为有远见的机器可能会考虑导致不同人口规模的行动方案。例如，我们很可能会要求人工智能系统帮助设计全球气候变化的解决方案，而这些解决方案很可能涉及限制甚至减少人口数量的政策。^[22]相反，如果我们认为人口越多越好，且如果我们从现在开始的几个世纪中，对潜在的庞大人口的幸福给予足够的重视，那么我们将需要更加努力地寻找超越地球界限的方法。如果机器的计算得出了“令人讨厌的结论”，或相反的结论，即让一小群人最幸福，那么我们可能有理由感到遗憾，因为我们在这个问题上缺乏进展。

一些哲学家认为，我们可能需要在道德不确定的状态下做出决定，也就是说，在决策中使用适当的道德理论具有不确定性。^[23]一种解决方案是为每种道德理论分配一定的概率，并使用“预期道德价值”做决策。然而，将概率与道德理论联系起来，就像将概率与明天的天气联系起来一样，目前还不清楚是否有意义。（灭霸完全正确的概率有多大？）而且，即使这确实有意义，那么相互竞争的道德理论的提议之间潜在的巨大差异也意味着，解决道德不确定性——找出哪种道德理论可以避免不可接受的后果，必须在我们做出重大决定或将其委托给机器之前完成。

让我们乐观一点，假设哈里特最终解决了这个问题，也解决了因为地球上存在不止一个人而产生的其他问题。合适的利他主义和平等主义算法被下载到世界各地的机器人中。伴着庆祝的掌声和欢快的音乐，哈里特回家了……

罗比：欢迎回家！忙了一天？

哈里特：是的，工作很忙，连吃午饭的时间都没有。

罗比：那你一定很饿了！

哈里特：饿死了！你能给我做点晚餐吗？

罗比：有件事我得告诉你……

哈里特：什么？别告诉我冰箱是空的！

罗比：不是，索马里还有人更需要帮助，我现在要走了，请你自己做饭。

哈里特也许会为罗比感到骄傲，也会为她使罗比成为这样一个正派的机器人所做的贡献感到自豪，但她不禁要问，为什么她要花一大笔钱去买一个这样的机器人，其第一个重要行动就是消失。当然，在现实中，没有人会买这样的机器人，人们也不会制造这样的机器人，所以这不会给人类带来任何好处。我们称之为“索马里问题”。为了使整个功利机器人计划奏效，我们必须找到解决这个问题的办法。罗比需要对哈里特有一定的忠诚度，这或许与哈里特为罗比所付的钱有关。也许，如果社会希望罗比帮助哈里特以外的人，那么社会就需要补偿哈里特对于罗比提供服务的需求。机器人很可能会互相协调，这样它们就不会同时降落在索马里了，这种情况下，罗比可能根本就不需要去索马里。或者可能会出现一些全新的经济关系来应对世界上（肯定是前所未有的）数十亿纯粹利他主义智能体的存在。

善良的、可恶的、爱嫉妒的人类

人类的偏好远不只快乐和比萨。这些偏好当然会扩展至其他人的幸福。在需要为自私辩护时，经济学之父亚当·斯密的理论经常被引用，他的第一本书《道德情操论》开篇就强调了关心他人的重要性：[24]

无论人们会认为某人怎样自私，这个人的天赋中总是明显地存在着这样一些本性，这些本性使他关心别人的命运，把别人的幸福看成自己的事情，虽然他除了看到别人幸福而感到高兴以外，一无所得。这种本性就是怜悯或同情，就是当我们看到或逼真地想象到他人的不幸遭遇时所产生的感情。我们常为他人的悲哀而感伤，这是显而易见的事实，不需要用什么实例来证明。

用现代经济学的说法，对他人的关心通常被归入利他主义的范畴。^[25]利他主义理论已经相当完善，对税收政策和其他问题都产生了重大影响。必须指出的是，一些经济学家把利他主义视为另一种形式的自私，旨在为给予者提供“温情”。^[26]这当然是机器人在解释人类行为时需要意识到的一种可能性，但现在让我们暂且相信人类是天真的，并假设他们真的在乎别人。

思考利他主义的最简单方法是将一个人的偏好分为两类：一类是对自己内在幸福的偏好，另一类是对他人幸福的偏好。（人们对于是否能将它们完美地分开存在相当大的争议，但我要把这个争议放到一边。）内在幸福指的是一个人自身的生活品质，比如拥有住所、吃得饱、穿得暖、安全等，这些生活品质本身就是令人向往的，而不是一个人参考了别人的生活才想要的。

为了使这个概念更具体，我们假设世界上有两个人爱丽丝和鲍勃。爱丽丝的总效用是由她自己的内在幸福感加上关心因子CAB乘以鲍勃的内在幸福感组成的。关心因子CAB表示爱丽丝对鲍勃的关心程度。同理，鲍勃的总效用等于他的内在幸福感加上关心因子CBA乘以爱丽丝的内在幸福感，其中CBA表示鲍勃对爱丽丝的关心程度。^[27]罗比试图同时帮助爱丽丝和鲍勃，这意味着最大化他们二人的效用总和。因此，罗比不仅需要关注两个人的个人幸福，还需要关注这两个人各自对他人幸福的关心程度。^[28]

关心因子CAB和CBA非常重要。例如，如果CAB为正，那么爱丽丝就是“善良的”：她会从鲍勃的幸福中获得一些快乐。CAB越大，爱丽丝就越愿意牺牲自己的幸福来帮助鲍勃。如果CAB是零，那么爱丽丝就是完全自私的：如果她能逃脱惩罚，那么她会把任意数量的资源从鲍勃身上转移给自己，即使鲍勃一贫如洗、挨饿受冻也是如此。面对自私的爱丽丝和善良的鲍勃，效益主义者罗比显然会保护鲍勃免受爱丽丝最恶劣的掠夺。有趣的是，最终的均衡通常会让鲍勃比爱丽丝拥有更少的内在幸福感，但他可能拥有更大的总幸福感，因为他在意爱丽丝的幸福。你可能会觉得罗比的决定非常不公平，如果仅仅因为鲍勃比爱丽丝善良，他的幸福指数就比爱丽丝低，难道他就不会对这个结果感到不满？^[29]他可能会，但那是一个不同的模型，一个包含了对幸福差异的怨恨的模型。在我们的简单模型中，鲍勃会对结果感到满意。事实上，在均衡状态下，他会控制把资源从爱丽丝身上转移给他自己的企图，因为这会降低他的整体幸福感。如果你认为这完全不现实，那么请考虑一下爱丽丝是鲍勃的亲生女儿的情况。

对罗比而言，真正有问题的情况发生在CAB是负数时：在这种情况下，爱丽丝确实很讨厌。我用“消极利他主义”这个词来指代这种偏好。就像之前提到的虐待狂哈里特一样，这不同于普通的贪婪和自私，普通的贪婪和自私是爱丽丝满足于减少鲍勃的资源份额来增加她自己的份额。消极利他主义意味着，爱丽丝纯粹从损人利己的行为中获得幸福，即使她自己的内在幸福感没有变化。

豪尔绍尼在介绍偏好效益主义的论文中将消极利他主义归因于“施虐、嫉妒、怨恨和恶意”，并认为在计算人口中人类效用的总和时应该忽略这些因素。

无论我对X个人有多少善意，也不能把帮助他伤害第三个人Y的道德义务强加给我。

可以说，在这一领域，智能机器的设计者们应该（谨慎地）站在正义一边。

不幸的是，消极利他主义行为比人们想象的要普遍得多。它并不是由虐待狂和恶意引起的，^[30]而是由嫉妒、怨恨和与之相反的情绪引起的，我称这种情绪为“骄傲”（因为找不到更好的词）。如果鲍勃嫉妒爱丽丝，那么他的不快乐来自爱丽丝的幸福和他自己的幸福之间的差距。该差距越大，他就越不快乐。相反，如果爱丽丝为自己比鲍勃优越而感到骄傲，那么她不仅从自己的内在幸福中获得幸福，还从自己比鲍勃幸福的事实中获得幸福。从数学意义上很容易看出，骄傲和嫉妒的作用方式与虐待狂大致相同，它们导致爱丽丝和鲍勃纯粹从减少对方的幸福中获得幸福，因为鲍勃幸福感的降低会增加爱丽丝的骄傲，而爱丽丝幸福感的降低则会减少鲍勃的嫉妒。^[31]

著名的发展经济学家杰弗里·萨克斯（Jeffrey Sachs）曾给我讲过一个故事，说明了这种偏好在人们思维中的力量。在一场大洪水摧毁了孟加拉国的一个地区后不久，他来到这里，同一位失去了房屋、田地、所有牲畜和一个孩子的农民交谈。萨克斯冒昧地说：“我很抱歉……你一定非常难过。”然而农夫回答说：“一点也不难过，我很高兴，因为我那该死的邻居失去了他的妻子和所有的孩子！”

美国社会学家索尔斯坦·凡勃伦（Thorstein Veblen）在对骄傲和嫉妒进行的经济学分析方面做出了大量杰出工作，特别是在社会地位和炫耀性消费结合的背景下，他在1899年出版的著作《有闲阶级论》中解释了这些态度的有害后果。^[32] 1977年，英国经济学家弗雷德·赫希（Fred Hirsch）出版了《增长的社会极限》，^[33]他在书中提出了“地位商品”的概念。地位商品可以是任何东西，例如汽

车、房产、奥运奖牌、教育、收入或口音，它的感知价值不仅来自其内在利益，还来自它的相对属性，包括稀缺性和优于他人的属性。由骄傲和嫉妒驱使的对地位商品的追求具有零和博弈的特征，即爱丽丝不可能在使鲍勃的相对地位降低的情况下改善她的相对地位，反之亦然。（这似乎并没有阻止大量钱财被浪费在这种追求之上。）地位商品在现代生活中无处不在，因此机器需要了解它们在个人偏好中的整体重要性。此外，社会认同理论的学者提出，个人在群体中的身份和地位以及该群体相对于其他群体的整体地位是人类自尊的重要组成部分。^[34]因此，如果不理解个人如何将自己视为群体的成员，就很难理解人类的行为，无论其身处于物种、国家、民族、政党、公司、家庭还是某支足球队的球迷团等群体中。

就像虐待和恶意一样，我们可以建议罗比在帮助爱丽丝和鲍勃的计划中很少考虑或根本不考虑骄傲和嫉妒。然而，执行这项建议存在一些困难。因为在爱丽丝对鲍勃幸福感的态度中，骄傲和嫉妒抵消了关心，所以要把它们分开可能并不容易。可能是爱丽丝对鲍勃很关心，但她也很嫉妒鲍勃。我们很难把这个爱丽丝和另一个对鲍勃不怎么关心却一点也没有嫉妒之心的爱丽丝区分开来。此外，考虑到人类偏好中普遍存在的骄傲和嫉妒，我们非常有必要仔细考虑忽视它们的后果。也许它们是“面子”至关重要的一部分，尤其是它们的积极形式——自尊和对他人的钦佩。

让我再次强调之前说过的一点：设计得当的机器不会像它们观察的人那样行事，即便这些机器正在学习虐待狂的偏好。事实上，如果我们人类发现自己每天都处于与纯粹利他主义实体打交道的陌生环境中，我们就可能会学习成为更好的人，变得更无私，也更少受到骄傲和嫉妒的驱使。

愚蠢的、情绪化的人类

本节的标题并不是指某个特定的人类群体，而是指我们所有人。与完美理性所设定的不可企及的标准相比，我们都是极其愚蠢的，我们受制于各种情绪的起伏，这些情绪在很大程度上支配着我们的行为。

让我们从愚蠢开始谈起。一个完全理性的实体会在未来所有可能的生活中最大限度地满足自己的偏好。我无法写下一个数字来描述这个决策问题的复杂性，但我发现下面的思想实验很有帮助。首先请注意，人类一生中做出的运动控制选择的数量约为20万亿次。（详细计算请见附录A。）接下来，让我们借助塞思·劳埃德的终极物理笔记本电脑，看看蛮力能让我们走多远，它比世界上最快的电脑快10³³倍。我们给它的任务是列举所有可能的英语单词序列（或许是为阿根廷作家豪尔赫·路易斯·博尔赫斯笔下的巴别塔图书馆做准备），我们让它运行一年。在这段时间内它可以列举的序列有多长？1 000页？100万页？都不对，只有11个词。这让你感受到了设计具有20万亿次动作的最佳生命体的难度。简而言之，我们距离理性还差得远，比“鼻涕虫”追赶上在九度空间旅行的“企业号”星际飞船还难。我们不知道完全靠理性选择的生活会是什么样子。

这意味着人类通常会以违背自己偏好的方式行事。例如，当李世石在围棋比赛中输给AlphaGo时，他下出了一步或几步会让他输棋的臭棋，而AlphaGo（至少在某些情况下）可能察觉到李世石已经下出了这样的棋。然而，如果AlphaGo推断李世石更喜欢输，那就错了。相反，AlphaGo可以合理地推断李世石更喜欢赢棋，但他的计算能力有限，无法在所有情况下都选择正确的着法。因此，为了理解李世石的行为并了解他的偏好，遵循第三原则（“关于人类偏好的最终信息来源是人类行为”）的机器人必须了解李世石产生该行为的认知过程。它不能假设李世石是理性的。

这给人工智能、认知科学、心理学和神经科学领域带来了一个非常严肃的研究课题：为了充分了解人类的认知，^[35]我们（或者更确切地说，我们的有益机器）可以对人类行为进行“逆向工程”，以获取深层的潜在偏好，直到这些偏好出现。人类设法做到了其中的一些，在生物学的指导下，从别人那里学习自己的价值观，所以这似乎是可能的。人类有一个优势：一个人可以使用自己的认知架构来模拟其他人的认知架构，而不需要知道那个架构是什么，“如果我想要X，我会和妈妈做同样的事情，所以妈妈一定想要X”。

机器没有这个优势。它们可以轻松模拟其他机器，但不能模拟人。它们不太可能很快获得完整的人类认知模型，无论是通用的还是针对特定个人的。相反，从实践的角度来看，观察人类偏离理性的主要方式，并研究如何从表现出这种偏离的行为中学习偏好是有意义的。

人类和理性实体之间的一个明显的区别是：在任意给定的时刻，我们都不是在开启所有可能的未来生活的所有可能的第一步中进行选择，甚至还差得很远。相反，我们通常被嵌入一个深度嵌套的“子程序”层次结构中。一般而言，我们追求的是短期目标，而不是最大化对未来生活的偏好，我们只能根据我们目前所处的子程序的约束来行动。例如，现在，我正在输入这句话：我可以选择在冒号之后如何继续往下写，但我从来没有想过是应该停笔去参加一个网络说唱课程，还是应该烧毁房子索赔保险，或是我接下来可以做的无数事情中的任何一件。其他很多事情都可能比我现在做的事情更好，但是，考虑到我的承诺等级，那些其他的事情就好像不存在一样。

因此，要理解人类的行为，就需要理解这个子程序的层次结构（可能是非常个性化的）：这个人目前正在执行哪个子程序，这个子程序正在追求哪些短期目标，以及它们如何与更深层次的长期偏好相关联。更普遍地说，要了解人类的偏好，就需要了解人类生活的实际结构。我们人类可以单独或共同从事的事情有哪些？不同文化和不同类型的人有什么不同的活动特征？这些都是非常有趣和艰巨的研究问题。很明显，它们并没有一个固定的答案，因为我们人类一直在向我们的“剧目”中添加新的活动和行为结构。但是，即使是临时的不完全的答案，对于旨在辅助人类日常生活的各种智能系统来说也是非常有用的。