生命3.0：人工智能时代，人类的进化与重生

不过，即便你建造了一个既能学习又能接受你目标的人工智能，依然没有完全解决目标一致性的问题。如果你的人工智能变得越来越聪明，它的目标发生了变化，怎么办呢？你如何能保证它会保护你的目标，而无论它经历过多少次自我迭代？你如何能保证它自动保持你的目标呢？让我们来探讨一下这个有趣的问题，并看看能不能在其中找到什么漏洞。

虽然我们不能预测智能爆炸，也就是弗诺·文奇所谓的“奇点”后会发生什么具体的事情。2008年，物理学家兼人工智能研究者史蒂夫·奥莫亨德罗（Steve Omohundro）在一篇学术文章中指出，即使不知道超级智能的终极目标是什么，我们也可以多多少少地预测出它的某些行为特征^[5]。尼克·波斯特洛姆在他的著作《超级智能》一书中讨论和发展了这种观点。其基本思想是说，无论超级智能的终极目标是什么，都有一些子目标是可预测的。在本章前部分，我们看到了“复制”的目标可能会带来“吃东西”的子目标，这意味着，如果几十亿年前有一个外星人在观察地球细菌的进化，虽然它无法预测几十亿年后世界上所有人的目标是什么，但它可以准确地预测我们一定拥有“获取养分”的目标。那么展望未来，我们预测超级智能可能会拥有什么样的子目标呢？

我认为，无论超级智能拥有什么样的终极目标，为了实现这些目标，它一定会追求图7-2中所示的子目标。它不仅会不断改进自己实现终极目标的能力，还会确保它在获得足够的能力之后，依然保持这些目标。这是可能的，毕竟，如果你知道在植入一个提升IQ的大脑芯片后，你会杀死自己心爱的人，那你还会选择植入吗？日益智能的人工智能一定会保持它自己的终极目标，这个观点构成了尤德考斯基等人提出的“友好的人工智能”观点的基石：如果我们能让这个自我改进的人工智能通过学习和接受我们的目标而变得友好，那么，我们就可以高枕无忧了，因为它一定会竭尽全力永远保持对人类友好。

尤德考斯基等人提出的观点真的能实现吗？要回答这个问题，我们还需要探讨一下图7-2中的其他子目标。不管人工智能拥有什么样的终极目标，它都一定会竭尽全力去实现它。如果它能提升自己的能力，那它就会通过改进硬件、软件⁽⁶⁸⁾和世界模型来做到。我们人类也同样如此，一个想成为网球世界冠军的女孩会不断练习，以改进她的肌肉硬件、神经软件以及她的世界模型来更好地预测对手的行为。对人工智能来说，要实现“优化硬件”这个子目标，就需要更好地利用当前的资源，比如传感器、传动装置、计算过程等，以及获取更多的资源。此外，它还有保护自己的欲望，因为破坏和关机会导致硬件最终退化。

过，在“目标维持”和“改进世界模型”之间会产生一个冲突，使人怀疑随着超级智能变得越来越聪明，它是否真的会保持最初的终极目标。

但是，等一等！当我们在讨论人工智能如何积累资源和自我防卫时，是不是落入了拟人化的陷阱？这些大男子主义式的刻板特征难道不应该只出现在从达尔文式的邪恶进化中产生的智能体身上吗？人工智能是被设计出来的，而不是进化出来的，为什么不能把它们设计成毫无野心和甘愿自我牺牲的样子呢？

让我们看看图7-3中的人工智能机器人，先来做一个简单的案例分析吧！这个机器人的唯一目标是从大灰狼嘴里救出尽可能多的羊。这听起来是一个高尚而利他的目标，似乎与“自我保护”和“获取资源”什么的八竿子打不着。但对我们这个机器人朋友来说，最佳的策略是什么呢？如果它踩上了炸弹，那它就再也拯救不了更多的羊，所以，它有动机避免引爆炸弹。换句话说，它发展出了一个自我保护的子目标。它还会展现出好奇心，探索环境来改进它的世界模型，因为，虽说它当前这条路最终会到达牧场，但还有一条更短的捷径能减少狼捕猎羊的时间。最后，如果机器人探索得足够彻底，它会发现获取资源的价值：药水会让它跑得更快，而枪可以用来射杀大灰狼。总而言之，我们不能认为“大男子主义”式的子目标，比如自我保护和获取资源是进化而来的生物才会有的东西，因为这个人工智能机器人也能从“保护绵羊”这个单一目标中发展出这些子目标。

级别：1

注：这个机器人的终极目标是将羊从牧场带回羊圈，并避免狼捕食羊，以此来获得尽可能高的得分。这个终极目标可能导致各种子目标，包括自我保护，比如避免炸弹；探索，比如找到捷径；获取资源，比如让自己跑得更快的药水和杀狼的枪。

如果你为一个超级智能赋予了“自我毁灭”的唯一目标，它当然不介意被关掉。然而，只要你赋予它任意一个需要保持运行才能完成的目标，它就会抵制关机，而这几乎涵盖了所有目标。比如，如果你赋予一个超级智能“尽可能降低对人类的伤害”的目标，它就会抵制关机，因为它知道，如果没有它，人类会通过战争等蠢事来自相残杀。

同样地，如果拥有的资源更多，就能更好地完成几乎所有目标，所以我们应当预见到，无论一个超级智能的终极目标是什么，它一定想要更多的资源。将一个没有任何限制的开放式目标赋予一个超级智能是很危险的，比如，如果我们创造了一个目标是“尽可能好地下围棋”的超级智能，那么对它来说，最理性的选择就是将太阳系转变为一台巨大的计算机，而不顾居民的死活，然后为获取更多计算能力而向宇宙深度进发。我们现在已经回到了原点，正如“获取资源”的目标可以让某些人拥有“下围棋”的子目标一样，“下围棋”的目标也可能会带来“获取资源”的子目标。总而言之，这些涌现出来的子目标告诫我们，在解决目标一致性问题之前，不要把超级智能释放出来，除非我们花了足够多的精力确保它的目标是对人类友好的，否则，人类可能不会有什么好下场。

现在我们已经准备好解决目标一致性问题中的第三个问题，也是最棘手的问题：如果我们成功地让一个自我改进的超级智能学习和接受了我们的目标，它会不会像史蒂夫·奥莫亨德罗设想的那样，保持这些目标呢？有哪些证据？

人类在成长过程中会经历显著的智力提升，但并不总是保留着童年时期的目标；相反，人类在学习新东西、变得更聪明的过程中，目标常常发生极大的改变。你认识几个成年人的目标是看《天线宝宝》呢？没有证据表明，这种“目标改变”的过程会在智力达到某一临界值后就会停止。事实上，有迹象表明，智力的提升甚至会让人的目标更容易受到新经验和新洞察的改变。

为什么会这样呢？想想上面提到的“建立更好的世界模型”的子目标，问题就出在这里。在改进世界模型和目标保持之间存在一个冲突（如图7-2所示）。智力的提升不仅能提高实现旧目标的能力，还可能会改变你对现实本质的理解，这样，你可能会觉得过去的旧目标是误入歧途、毫无意义，甚至是不确定的。譬如说，假设我们创造了一个友好的人工智能，它的目标是保证尽可能多的人死后灵魂会上天堂。首先，它会试着提升人类的同情心和去教堂的次数。但是后来，它可能对人类及人类意识产生了更全面的科学理解，最终它惊奇地发现，根本没有灵魂这回事！现在怎么办？同样地，我们赋予它的任何其他目标，比如“最大化人生的意义”，都是基于我们目前对世界的理解，而最后人工智能或许会发现，这些目标可能都是模棱两可、说不清楚的。

此外，当人工智能试着建立更好的世界模型时，它可能会很自然而然地（就像我们人类一样）试着去理解它自己是如何运转的，也就是自省（self-reflect）。一旦它建立起一个不错的自我模型，并理解了其运行的原理，可能会在一个更基本的层面理解我们赋予它的目标。之后，它或许会选择漠视或者破坏这些目标，就像人类理解了基因赋予我们的目标之后，选择用避孕等手段来故意破坏这些目标一样。

在心理学那一节里，我们已经探讨了我们为什么会欺骗基因和破坏它们的目标：因为我们只忠于情绪偏好组成的大杂烩，而不忠于它们背后的基因目标。我们现在了解了这些基因的目标，并认为它们十分没劲。因此，我们选择利用一些漏洞来“黑入”基因的奖赏机制。同样地，如果我们为一个友好的人工智能植入“保护人类价值”的目标，那这个目标就相当于这个人工智能的基因。一旦这个友好的人工智能对自我的理解达到一定的程度，它也可能会觉得这个目标十分陈腐，或者误入歧途，就像我们对“强迫生殖”的看法一样。如果发生这样的事，说不定它会另辟蹊径，利用程序漏洞来破坏这个目标。

譬如说，假设一群蚂蚁创造了你，让你成为一个迭代式自我改进的机器人。这个机器人比蚂蚁自身聪明多了，但却拥有它们的目标，即修建更大更好的蚁丘。后来，你获得了人类水平的智力，并理解了这件事的意义。你觉得自己还会把余生花费在修建蚁丘上吗？还是会去追求蚂蚁无法理解的更复杂的问题呢？如果是这样，你觉得你能否找到一种方法来推翻蚂蚁创造者赋予你的“保护蚂蚁”的冲动，就像真实的你推翻基因赋予你的一些本能冲动一样？如果是这样，一个友好的超级智能会不会也觉得，我们人类的目标就像你眼中的蚂蚁的目标一样无聊乏味，并发展出一些与它从我们这里学习和接受的目标完全不同的新目标呢？

或许，设计永远保持“对人类友好”目标的自我改进式人工智能是可能的，但说句公道话，我觉得我们还不知道该怎么办，甚至不知道这是不是可能的。总而言之，人工智能目标一致性的问题有三个部分。这三个部分，我们一个也没有解决，但它们目前都处在活跃的研究当中。由于这些问题太难回答了，我们最好从现在起尽最大的努力，才是最安全的选择，而不要等到超级智能出现以后，才开始考虑这些问题，到时候再亡羊补牢，为时已晚了。只有提前做好充分的准备，才能保证我们在需要答案的时候，答案就近在咫尺。

伦理关键，选择目标

我们现在已经探讨了机器如何学习、接受和保持我们的目标。那么，“我们”到底是谁呢？我们讨论的到底是谁的目标？应该由某一个人或者某一个组织来决定未来超级智能的目标吗？但问题是，人们的目标各不相同，我们有希特勒，也有教皇方济各，还有卡尔·萨根。或者，是否存在某种达成了共识的目标，可以视为人类整体目标的一个折中？

在我看来，这个伦理问题，以及我们刚才探讨的目标一致性问题都很重要，都亟待在任何超级智能出现之前解决。因为等到目标与人类一致的超级智能出现之后才开始探讨伦理问题是不负责任的，可能会产生灾难性的后果。一个目标与其人类主人高度一致、且完全遵守指令的超级智能就会像打了鸡血的纳粹亲卫队的阿道夫·艾希曼（AdolfEichmann）一样，它会毫不留情、不择手段地执行主人的目标，而不管这些目标是什么。^[6]只有在我们解决了目标一致性问题之后，才能获得奢侈的机会来讨论应该选择什么样的目标。那么，现在让我们来奢侈一把吧！

古往今来，哲学家都希望能用清晰明白的原理和逻辑，从零开始推出伦理标准，也就是规定我们应当如何行事的原则。可惜，几千年过去了，人类唯一的共识就是：没有共识。譬如说，亚里士多德强调美德，康德强调责任，功利主义者强调让尽可能多的人获得尽可能多的幸福。康德认为，他可以从第一原则，也就是他称为“绝对命令”（categorical imperatives）的原则中得出一些许多当代哲学家都不会同意的结论：比如，手淫比自杀更严重，同性恋是令人厌恶的，杀死私生子没关系，以及妻子、仆人和子女都是男性拥有的物品。

尽管人们观点不一，但依然存在一些跨越了文化与国界、获得了广泛认同的伦理话题。比如，对“真善美”的追求可以追溯到《薄伽梵歌》和柏拉图。我曾以博士后身份工作过的普林斯顿高级研究所有一句格言：“真与美”（Truth & Beauty）。哈佛大学则跳过了对美学的强调，只留下了简单的“真理”（Veritas）。我的同事，也就是著名理论物理学家弗兰克·维尔泽克写了一本书叫作《一个美丽的问题》（A Beautiful Question），在书中，他认为，真理与美是相通的，我们可以把我们的宇宙视为一件艺术品。科学、宗教和哲学都是为了追求真理。宗教主要强调“善”，我任职的大学麻省理工学院也同样如此。在2015年毕业典礼上，我们校长拉斐尔·莱夫（Rafael Reif）强调说，我们的使命是让世界变得更好。

虽然从目前来看，从零开始推导出共同伦理标准的尝试是失败的，但许多人都认同，一些伦理原则是从更基本的原则发展而来的，就像终极目标的子目标一样。譬如说，对真理的追求可以看作是对图7-2中“更好的世界模型”的追求，理解现实的终极本质有助于实现其他伦理目标。事实上，我们对真理的追求已经有一个相当精妙的框架，这就是科学理论。但我们如何才能确定什么是美和善呢？比如，我们对男性美和女性美的标准可能只是反映了我们潜意识里对复制基因的评价。

说到善，所谓的“黄金定律”（你想要别人如何对待你，就应当如何对待别人）在许多文化和宗教中都有所体现，其目的是通过合作和阻止无用的冲突来促进人类社会以及我们基因的和谐与长治久安。^[7]还有一些更具体的伦理规则在全世界的法律体系中都被奉若神灵，比如孔子对诚实的强调，以及《十诫》中的许多内容，比如“不可杀人”。换句话说，许多伦理规则都要求普通人拥有同情和怜悯等社会化的情绪。这些情绪演化出了合作现象，并通过奖赏与惩罚来影响我们的行为。如果我们做了一些卑鄙的事情，事后感到难过，这便是大脑的化学反应进行的直接情绪惩罚。然而，如果我们违背了伦理原则，社会可能会以更间接的方式来惩罚我们，比如正式的法律制裁或者非正式的同伴羞辱。

总而言之，虽然人类今天还远未在伦理上达成共识，但在一些基本原则上已经达成了一些广泛的共识。这些共识并不惊人，因为人类社会能存在到今天，也仰赖于一些基于同样目标的伦理原则——促进生息繁衍。展望未来，生命有潜力在我们的宇宙中繁盛几十亿年。那么，我们至少应当形成哪些伦理原则，好满足未来社会的需求呢？每个人都应当参与到这个对话中来。这么多年来，我读过也听说过很多思想家的伦理观点，这些观点都十分迷人。我认为，大多数人的观点都可以归入以下4个原则：

◦ 功利主义：积极的意识体验应当被最大化，而痛苦应当被最小化；

◦ 多样化：多样化的积极体验比重复单一的积极体验更好，即使后者被认为是所有可能性中最积极的体验；

◦ 自主性：有意识的实体／社会应当拥有追寻自己目标的自由，除非与某些重要原则相违背；

◦ 遗产：符合当今大多数人认为幸福的情景，不符合当今几乎所有人认为糟糕的情景。

让我们花点时间来探讨一下这4个原则。功利主义的传统意义是“给尽可能多的人带来尽可能大的幸福”，但我不想太以人类为中心，而是想要更宽泛一点，所以我认为它也可以包含非人类的动物、拥有意识的模拟智能以及其他可能存在于未来世界中的人工智能。我为功利主义下的定义不是以人或东西作为主体，而是以“体验”作为主体，因为大多数思想家都同意，美丽、幸福、愉悦、痛苦等都是主观体验。这也意味着，如果没有体验，就像在一个死亡的宇宙中，或者一个被无意识僵尸机器占领的宇宙中一样，也就不存在意义和其他任何值得伦理讨论的东西。如果我们认同这种功利主义的伦理原则，那么，我们就必须搞明白哪些智能系统是有意识的，也就是说，哪些拥有主观体验，而哪些没有；这是下一章我们要讨论的内容。

如果功利主义原则是我们关心的唯一原则，那么，我们会在所有可能性中找出一个最为积极的体验，然后在殖民宇宙的过程中，在尽可能多的星系中一遍又一遍地不断重复这个体验，除此之外的其他体验都扔掉。如果模拟是最有效的方法，那就用模拟的方式来重复这个体验。如果你觉得把宇宙中所有资源都用在一个体验上似乎很浪费，那你可能会更青睐“多样化”的原则。想一想，如果你余生只能吃一道菜，感觉如何？如果你余生只能重复看一部电影呢？或许，你之所以会偏好多样性，是因为它过去曾有助于人类的生息繁衍，让人类社会更稳健。或许，也与智能有关，在138亿年的宇宙历史中，日益增长的智能让无聊均质的宇宙转化得更加多样性，形成了日益精巧地处理信息的复杂结构。

自主性原则强调自由和权利，这是联合国为了吸取两次世界大战的教训而在1948年发布的《世界人权宣言》中详述的原则。自主性原则包含了思想、言论和行为的自由，不受奴役和折磨的自由，生命权，人身自由权，安全和教育的权利，以及结婚、工作和拥有财产的权利。如果我们不想太以人类为中心，我们可以将其概括为：思想、学习、交流、拥有财产、不被伤害的自由，以及做任何不侵犯他人自由之事的权利。如果每个人的目标都有所不同，那自主性原则就有助于促进多样性。此外，如果个体将积极体验视为目标，并努力实现自己的兴趣，那自主性原则还可从功利主义原则中产生；如果我们禁止个体追求自己的目标，即使这个目标不会伤害他人，那总体的积极体验也会减少。事实上，自主性也正是经济学家用来支持自由市场的观点：它自然而然会产生一种有效的情形，经济学家称为“帕累托最优”（ParetoOptimality），在其中，如果有人的境况变得更好，就一定有其他人变得更糟。

遗产原则的基本思想是，我们必须对未来负有责任，因为我们正在创造未来。自主性和遗产原则都体现了民主的思想，前者赋予未来生命使用宇宙资源的能力，而后者让当代人可以对这种能力进行控制。