人工智能时代：破解人机共存密码（套装共10册）

如果世界上有一个完全理性的哈里特和一个乐于助人、恭敬有礼的罗比，我们的状态就会很好。罗比会尽可能无声无息地逐渐了解哈里特的偏好，并成为她的完美助手。我们可能希望从这个充满希望的开端推演下去，也许可以将哈里特和罗比的关系视为人类与机器之间关系的模型，无论是人类还是机器都被整体地解释。

然而，人类不是单一的、理性的实体，而是由多得不计其数的、令人讨厌的、嫉妒驱动的、非理性的、不一致的、不稳定的、计算能力有限的、复杂的、不断进化的、异质的实体组成的。这些问题是社会科学的主要内容，甚至可能是社会科学存在的理由。在人工智能中，我们需要加入心理学、经济学、政治理论和道德哲学的思想。^[1]我们需要将这些思想熔化、塑形和锤炼成一个足够强大的结构，以抵御日益智能的人工智能系统给它带来的巨大压力。这项工作现在刚刚开始。

不同的人

我将从或许是最简单的问题——“人类是多种多样的”这一事实开始讲起。当人们第一次接触“机器应该学会满足人类偏好”的想法时，人们通常会反对，反对的理由是，不同的文化，甚至不同的个人，有着完全不同的价值体系，因此机器不可能有正确的价值体系。当然，这对机器而言不是问题：我们不希望它拥有自己正确的价值体系，我们只是想让它预测其他人的偏好。

关于机器难以满足人类不同偏好的困惑可能来自一种错误的想法，即机器采用的是它学习到的偏好，例如认为素食家庭中的家用机器人会采用素食偏好。事实上，机器人不会这样。它只需要学会预测素食者的饮食偏好。根据第一原则，它会避免为这户家庭烹饪肉类。但机器人也会了解邻居“肉食狂人”的饮食偏好，而且，如果在主人同意的情况下，周末邻居借机器人帮忙举办晚宴，它会很乐意为他们做肉食吃。除了帮助人类实现他们的偏好外，机器人并没有自己的一套偏好。

从某种意义上讲，这与餐馆厨师学做几道不同的菜来满足客人不同的口味，或者跨国汽车公司为美国市场生产左舵驾驶汽车，为英国市场生产右舵驾驶汽车没有什么不同。

原则上，一台机器要学习80亿个偏好模型，即地球上每个人的偏好。而在实际中，这并不像听上去那么无望。首先，机器很容易互相分享它们学到的东西。其次，人类的偏好结构有很多共同点，所以机器通常不会从头开始学习每个模型。

例如，想象一下，有一天加州伯克利的居民要购买家用机器人。机器人带着相当广泛的先验信念从盒子里走出来，它可能是为美国市场量身定做的，但并非针对任何特定的城市、政治观点或社会经济阶层。机器人开始遇到伯克利的绿党成员，结果发现，与普通美国人相比，他们更有可能成为素食者，更有可能使用回收箱和堆肥箱，更有可能使用公共交通工具等。当一个新投入使用的机器人发现自己生活在一个绿党家庭中时，它可以立即相应地调整自己的期望。它不需要像以前从未见过人类一样开始了解这些特殊的人类，更不用说绿党成员了。这种调整并不是不可逆转的——伯克利有的绿党成员可能以濒临灭绝的鲸的肉为食，开着高油耗的大卡车，但这可以使机器人更快地变得实用。相同的论点适用于其他各种各样的个人特征，这些特征在某种程度上可以预测个人偏好结构的各个方面。

许多人

存在多人的另一个明显后果是，机器需要在不同人的偏好之间进行权衡。几个世纪以来，人与人之间的权衡问题一直是社会科学的主要焦点。如果人工智能研究人员期望他们能够不用了解已知成果就找到正确的解决方案，那就太天真了。关于这个主题的文献浩如烟海，我不可能在这里对它做出公正的评价，不仅因为篇幅有限，还因为我没有读过其中的大部分内容。我还应该指出，几乎所有的文献都与人类的决策有关，而我在这里关注的是机器的决策。二者截然不同，因为人类有个人权利，这可能与任何假定的为他人履行的义务相冲突，而机器则没有。例如，我们不期望或要求一个真实的人类牺牲自己的生命来拯救他人，而我们肯定会要求机器人牺牲自己的存在来拯救人类的生命。

哲学家、经济学家、法学家和政治学家经过几千年的努力，制定出了宪法等法律、经济体系和社会规范，它们有助于（或阻碍，取决于谁负责）达成满意的折中解决方案。尤其是道德哲学家一直在从行为对他人有益或有害的影响的角度来分析行为正当性的概念。自18世纪以来，他们一直在效益主义的主题下研究权衡的量化模型。这项工作与我们目前关注的问题直接相关，因为它试图定义一个公式，根据这个公式，人工智能可以代表许多个人做出道德决定。

即使每个人都有相同的偏好结构，我们也需要进行权衡，因为我们通常不可能最大限度地满足每个人的偏好。例如，如果每个人都想成为全能的宇宙统治者，那么大多数人都会失望。另外，异质性确实让一些问题变得更加困难：如果每个人都对天空是蓝色的感到满意，那么处理大气问题的机器人就可以努力保持这种状态；如果很多人都在鼓吹改变天空的颜色，那么机器人就需要考虑可能的妥协，比如每个月的第三个星期五把天空变成橙色。

世界上不止一个人存在这一事实还产生了另一个重要的后果：这意味着，对每个人而言他都有其他人需要关心。这意味着满足一个人的偏好会对其他人产生影响，这取决于个人对他人幸福的偏好。

忠诚的人工智能

对于机器应该如何处理多人存在的问题，让我们从一个非常简单的建议开始讲起：机器应该忽略有多人存在这一事实。也就是说，如果哈里特拥有罗比，那么罗比应该只关注哈里特的偏好。这种忠诚的人工智能绕过了权衡的问题，但会导致下面这种问题：

罗比：你丈夫打电话提醒你今晚一起吃晚餐。

哈里特：等等！什么？什么晚餐？

罗比：庆祝你们的20周年纪念日，7点钟。

哈里特：我没时间！我7点半会见秘书长！这是怎么回事？

罗比：我确实提醒过你，但你没有听我的建议……

哈里特：好吧，对不起……但是我现在该怎么办？我不能跟秘书长说我太忙了！

罗比：别担心。我会安排她的飞机晚点，让飞机出点电脑故障。

哈里特：真的吗？你还能这么做？！

罗比：秘书长向你致以深深的歉意，并很高兴明天与你共进午餐。

此处，罗比找到了一个巧妙的方法来解决哈里特的问题，但它的行为对其他人产生了负面影响。如果哈里特是一个恪守道德规范且无私的人，那么旨在满足哈里特偏好的罗比永远也不会想到执行这样一个可疑的计划。但是，如果哈里特对其他人的偏好毫不在意，又会如何？那样的话，罗比不会介意让飞机晚点。它会不会花时间从网上银行账户里偷钱，来填满冷漠的哈里特的钱包，甚至做出更糟糕的事情？

显然，忠诚机器的行为需要受到规则和禁例的约束，就像人类的行为受到法律和社会规范的约束一样。有些人提出严格责任原则作为解决方案：^[2]哈里特（或罗比的制造商，这取决于你希望让谁承担责任）对罗比的一切行为负有经济上和法律上的责任，就像在美国大多数州，如果狗在公园咬了小孩，狗的主人要承担责任一样。这个想法听起来很有希望，因为这样罗比就有动机避免做任何会给哈里特带来麻烦的事情。不幸的是，严格责任原则并不管用：它只是确保了罗比在为了哈里特的利益而造成飞机延误和偷钱时的行为不会被发现。这是漏洞原则在实践中的又一个例子。如果罗比忠于一个寡廉鲜耻的哈里特，那么试图用规则来约束它的行为就可能会失败。

即使我们能以某种方式阻止公然的犯罪，为冷漠的哈里特工作的忠诚的罗比也会表现出其他令人不快的行为。如果它在超级市场买东西，它会尽可能在收银台插队。如果它在购物回家途中遇到一个路人心脏病发作，它会选择无视，继续回家，仅仅为了让哈里特的冰激凌不融化。总之，它会找到无数种牺牲他人利益的方法来造福哈里特，这些方法是完全合法的，但在大规模实施时会变得不可容忍。各国会发现自己每天都要通过数百项新法律，以弥补机器将在现有法律中找到的所有漏洞。人类往往不会利用这些漏洞，或是因为他们对潜在的道德原则有普遍的理解，或是因为他们缺乏发现漏洞所需要的创造力。

一个对别人的幸福漠不关心的哈里特已经够糟糕的了，而喜欢把自己的快乐建立在别人痛苦之上的虐待狂哈里特则更加糟糕。为了满足这样的哈里特的喜好而设计的罗比将成为一个严重的问题，因为它会为了哈里特的快乐而寻找并找到伤害他人的方法，这些方法无论是否合法，别人都无法发现。它当然需要向哈里特汇报，这样她就可以从它的恶行中获得乐趣。

因此，打造忠诚的人工智能的想法很难成立，除非这个想法被拓展到除了考虑主人的偏好之外，还考虑其他人的偏好。

效益主义的人工智能

我们之所以有道德哲学，是因为地球上不止一个人生活。与理解人工智能系统应该如何设计最相关的方法通常被称为结果主义，即应该根据预期结果来评判选择。另外两种主要的方法是道义论伦理学和美德伦理学，非常粗略地讲，这两种伦理学分别关注行为和个人的道德品质，而与选择的后果无关。^[3]没有任何证据表明机器有自我意识，因此我认为，如果其结果非常不符合人性，那么建造道德高尚或按照道德准则选择行动的机器就毫无意义。换言之，我们制造机器是为了带来结果，我们应该更喜欢制造能带来我们喜欢的结果的机器。

这并不是说道德准则和美德无关紧要，只是对效益主义者而言，他们是根据结果和那些结果的更实际的成就来判断正当性的。这一点是约翰·穆勒（John Stuart Mill）在《效益主义》中提出的：

提出幸福是道德的目的和目标这一命题，并不代表就不允许铺一条通往这一目标的路，也不代表就不允许给其中的行人指明方向……没有人会质疑航海技术是建立在天文学基础上的，因为海员们根据天文来计算航海年鉴。作为富有理性的生灵，他们出海时都已经进行了计算；而我们都是富有理性的生灵，都在生命的海洋中航行，需要用我们自己的心智去决定是非对错等常见问题，以及其他诸多比智慧和愚蠢更为复杂的事情。

与穆勒的观点完全一致的观点是：有限的机器在面对现实世界的巨大复杂性的时候，可能会遵循道德准则并采取一种善良的态度，从而产生更好的结果，而不是试图从头开始计算最佳行动方案。同样，国际象棋程序更经常使用标准的开局走法、残局算法和评价函数来实现“将杀”，而不是试图在没有“道德”路标的情况下推理“将杀”的方式。结果主义的方法也给予了那些坚信保留给定道义规则的人的偏好一些权重，因为对打破规则的不满是真实的结果。然而，这并不是无限影响的结果。

尽管很多人都尝试过反驳结果主义，但是结果主义是一个很难反驳的原则。因为以结果会产生不良结果为理由反对结果主义是不合逻辑的。人们不能说，“但是如果你在某某情况下遵循结果主义的方法，那么这种非常可怕的事情就会发生”。任何这样的失败都只是该理论被误用的证据。

例如，假设哈里特想攀登珠穆朗玛峰。人们可能会担心结果主义者罗比会简单地把她抱起来放到珠穆朗玛峰顶上，因为这是她想要的结果。但是哈里特很可能会强烈反对这个计划，因为这会剥夺她通过自己的努力成功完成一项艰巨任务的权利，而这一任务会给她带来挑战和喜悦。现在很明显，一个设计合理的结果主义者罗比会明白，结果包括哈里特所有的经历，而不仅仅是最终目标而已。它可能希望在发生意外事故时能在场，并确保她带上了适当的装备，完成了必要的训练，但它也可能不得不接受哈里特有权利将自己置于明显的死亡危险之下。

如果我们计划建造结果主义机器，下一个问题是如何评估影响多人的结果。一个貌似合理的答案是给予每个人的偏好同等的权重，也就是最大化每个人的效用总和。这个答案通常可以追溯至18世纪的英国哲学家杰里米·边沁^[4]和他的学生约翰·穆勒^[5]，他们发展了效益主义的哲学方法。其底层思想源自古希腊哲学家伊壁鸠鲁的著作，这一思想还明确地出现在中国哲学家墨子的著作《墨子》中。墨子活跃于公元前4世纪，他提出了“兼爱”的思想，意为“包容的关怀”或“普世的爱”，以此定义道德行为的特征。

效益主义的名声有些不太好，部分原因是人们对它的主张存在简单的误解。（效益主义一词的意思是“为了实用而设计，而不是为了吸引人而设计”，这当然无济于事。）效益主义经常被认为与个人权利不相容，因为效益主义者会对未经许可就切除一个活人的器官去挽救其他五个人的生命无动于衷。当然，这样的政策会使地球上每个人的生活都处于让人无法忍受的不安全之中，而效益主义者甚至不会考虑这一点。效益主义也被错误地认定为一种相当不讨人喜欢的最大化财富的行为，并被认为不重视诗歌或苦难。事实上，边沁的版本特别关注人类的幸福，而穆勒则自信地宣称智力上的快乐远比单纯的感觉更有价值。（“当一个不满足的人比当一头满足的猪更好。”）G. E.摩尔（G. E. Moore）的理想效益主义走得更远：他主张将内在价值的心理状态最大化，这集中体现为对美的审美观照。

我认为效益主义哲学家没有必要规定人类效用或人类偏好的理想内容。（人工智能研究人员这样做的理由就更少了。）人类可以为自己做到这一点。经济学家约翰·豪尔绍尼（John Harsanyi）用他的偏好自主原则提出了这一观点：^[6]

一个人在决定什么是好什么是坏时采用的最终标准只能是他自己的欲望和偏好。

因此，豪尔绍尼的偏好效益主义与“有益的AI”的第一原则大致一致，即机器的唯一目的是实现人类的偏好。人工智能研究人员绝对不应该从事决定人类偏好的工作！和边沁一样，豪尔绍尼把这些原则视为公共决策的指南，他不期望个人完全无私。他也不期望个人完全理性，例如，一个人可能拥有与自己“更深层次的偏好”相矛盾的短期欲望。最后，他建议忽略前面提到的虐待狂哈里特那种积极希望损人利己的人的偏好。

豪尔绍尼还给出了一种证明，即最优道德决策应该最大化整个人类群体的平均效用。^[7]他的假设相当薄弱，类似于个人效用理论的基础假设。（主要的附加假设是，如果一个群体中的每个人对两种结果都漠不关心，那么代表该群体的智能体对这些结果也漠不关心。）根据这些假设，他证明了后来所谓的“社会聚合定理”：代表个人群体的智能体必须最大化个人效用的加权线性组合。他进一步认为，一个“客观的”智能体应该使用相同的权重。

“社会聚合定理”需要一个关键的（且未阐明的）附加假设：每个人对这个世界以及世界将如何演变都有相同的先验事实信念。现在，每位父母都知道这甚至对于兄弟姐妹来说都不属实，更不用说对来自不同社会背景和文化的人了。那么，当个人的信念不同时会发生什么？有些事情会相当奇怪：^[8]分配给每个人的效用权重必须随着时间的推移而改变，使之和那个人先前的信念与当下现实的相符程度成比例。

这个听起来相当不平等的公式对每位父母来说都很熟悉。假设机器人罗比被指派照看两个孩子爱丽丝和鲍勃。爱丽丝想去看电影，并确信今天会下雨；而鲍勃想去海滩，并确信今天会是晴天。罗比可以宣布“我们去看电影”，但这会让鲍勃不高兴；或者可以宣布“我们去海滩”，但这会让爱丽丝很不高兴；或者可以宣布，“如果下雨，我们就去看电影，如果是晴天，我们就去海滩”。最后这个计划让爱丽丝和鲍勃都很高兴，因为他们都相信自己的信念。

对效益主义的挑战

效益主义是人类在长期寻找道德指南的过程中出现的一种提议。在许多这样的提议中，它是最明确的，因此也是最容易出现漏洞的。100多年来，哲学家们一直在寻找这些漏洞。例如，G. E.摩尔反对边沁强调的快乐最大化，他设想了一个“除了快乐什么都不存在的世界——没有知识，没有爱，没有美的享受，没有道德品质”。^[9]其现代的呼应可以在牛津大学牛津马丁学院人类未来研究所的研究员斯图尔特·阿姆斯特朗（Stuart Armstrong）的观点中找到，他说，以最大限度地获得快乐为任务的超级智能机器可能会“把每个人都装入混凝土棺材里注射海洛因”。^[10]还有一个例子，1945年，奥地利哲学家卡尔·波普尔（Karl Popper）提出了一个值得称赞的目标——最大限度减少人类的痛苦，^[11]他认为用一个人的痛苦来换取另一个人的快乐是不道德的。R. N.斯马特（R. N. Smart）回应说，最好的实现办法是让人类灭绝。^[12]如今，有关机器可能通过终结我们的存在来终结人类痛苦的观点，是关于人工智能生存性风险的辩论的主要内容。^[13]第三个例子是G. E.摩尔对幸福之源的实际情况的强调，G.E.摩尔修正了早期似乎存在漏洞的定义，即允许通过自我欺骗来实现幸福最大化。这一点的现代类比有《黑客帝国》（在《黑客帝国》中，当下的现实是由计算机模拟产生的错觉），还有最近关于强化学习中的自我欺骗问题的研究。^[14]

这些例子以及更多的例子让我相信，人工智能界应该认真关注哲学和经济中关于效益主义利弊的辩论，因为这与人工智能手头的任务直接相关。从设计使多人受益的人工智能系统的角度来看，其中两个最重要的问题涉及人际效用比较以及不同人口规模的效用的比较。这两场辩论已经持续了150多年，这让人怀疑它们令人满意的解决方案可能并非完全简单明了。

关于人际效用比较的辩论很重要，因为罗比不可能最大化爱丽丝和鲍勃的效用之和，除非这些效用可以相加，而只有当它们可以在相同的尺度上衡量时，它们才能相加。19世纪英国逻辑学家和经济学家威廉·斯坦利·杰文斯（William Stanley Jevons，也是早期被称为“逻辑钢琴”的机械计算机的发明者）在1871年提出，人际效用是不可比较的。^[15]

就我们所知，一个人头脑的敏感性可能是另一个人头脑敏感性的100倍。但是，如果敏感性在各方面的差异都呈现出类似的比例，那么我们就永远无法发现最根本的差异。因此，每一个人的头脑对于其他人的头脑而言都是不可思议的，不可能有共同的感觉标准。