生命3.0：人工智能时代，人类的进化与重生

虽然这4种原则听起来并不冲突，但要在实际中践行它们，可能会遇到很多问题，因为魔鬼就藏在细节中。产生的麻烦可能会很类似艾萨克·阿西莫夫提出的著名的“机器人三定律”：

◦ 第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管；

◦ 第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外；

◦ 第三定律：机器人在不违反第一、第二定律的情况下，要尽可能保护自己。

虽然这三条定律听起来挺不错，但阿西莫夫的很多小说都告诉人们，它们可能会导致一些意想不到的矛盾。现在，我们将这三条定律改成两条为未来生命设定的定律，并试着将自主性原则加进去。

◦ 第一定律：一个有意识的实体有思考、学习、交流、拥有财产、不被伤害或不被毁灭的自由；

◦ 第二定律：在不违反第一定律的情况下，一个有意识的实体有权做任何事。

听起来不错吧？但请再想一想，如果动物有意识，那捕食者该吃什么呢？是不是所有人都应该成为素食主义者？如果某些精巧的未来计算机程序也拥有了意识，那删除它们是不是违法了？如果存在“不能随便终结数字生命”的规定，那需不需要制定一些法规来限制它们的创生，以避免数字人口过剩？《世界人权宣言》之所以得到这么多人的支持，是因为它只考虑了人类。一旦我们将其他能力不一的有意识实体也考虑进去，就会面临许多两难的抉择：到底是应该保护弱者，还是强权即公理？

关于遗产原则，也存在一些棘手的问题。想一想，从中世纪以来，人们对奴隶制、女性权利等话题的伦理观点发生了多大的变化。当今的人类真的想让1 500年前的老古董决定今天的世界要如何运行吗？如果不是，我们为什么要试着把我们的伦理标准强加给可能比我们聪明千万倍的未来生命呢？我们怎么会相信，超人类水平的通用人工智能会想要遵守我们这些低等生物珍视的价值观呢？这就好像一个4岁小姑娘憧憬着，当她长大了，变得更聪明了，她就要给自己建造一间巨大的姜饼屋，然后在里面坐上一整天，除了吃糖果和冰激淋以外什么都不干。和她一样，地球上的生命也可能会长大成熟，而不再执着于童年时期的兴趣。就好像一只制造了人类水平的通用人工智能的老鼠想要建一座奶酪城市，听起来十分荒谬。但是，如果我们知道超人类水平的人工智能有一天会制造“宇宙灭绝事件”来消灭所有生命，那么，假如我们有能力将它造得不同，为什么不这么做，以避免这个荒芜死亡的未来呢？

总而言之，把人们广泛接受的伦理原则编入未来人工智能的程序里可能会出现一些问题，随着人工智能的不断进步，这些问题值得认真讨论和研究。但与此同时，让我们不要让完美与善为敌，有许多无可辩驳的“幼儿园伦理”可以而且应该被灌输到未来的技术中。例如，不应允许大型民用客机撞上静止的物体。现在，几乎所有客机都配备有自动驾驶仪、雷达和GPS，因此在技术上没有任何借口。然而，“9·11”劫机者却让三架飞机撞上了建筑物。自杀式飞行员安德里亚斯·卢比茨（Andreas Lubitz）于2015年3月24日驾驶德国航空公司9525号航班撞到了山上，他将自动驾驶仪设置在海拔100英尺（约30米）的空中，然后让飞机上的计算机完成余下的工作。我们的机器已经足够聪明了，可以获得自己所做之事的一些信息。现在，是时候教给它们一些限制了。每个设计机器的工程师都应该问问，机器在使用过程中，有哪些事情是可以做但不应该做的，然后考虑一下如何在实践中避免用户实施这种行为，不管是出于恶意还是愚蠢。

终极目标

本章简要地探讨了“目标”的历史。如果我们可以把宇宙138亿年的历史快放一遍，就能目睹“目标导向行为”的一些不同阶段：

◦ 物质似乎一心一意地聚焦在将“耗散”最大化上；

◦ 原始生命似乎试图将它的“复制”最大化；

◦ 人类追求的目标不是复制，而是一些与愉悦、好奇、怜悯等感觉相关的目标。人类进化出这些感觉的目的是促进复制；

◦ 人类建造机器来帮助他们追求自己的目标。

如果这些机器最终触发了智能爆炸，那这一首关于目标的史诗要如何终结？有没有一个目标系统或者伦理框架是所有实体在变得愈发智能的过程中都会逐渐趋近的？换句话说，我们有没有某种注定好的“道德命运”？

对人类历史进行一下粗略解读，就可以看到这样一种趋同的迹象，在《人性中的善良天使》（The Better Angels of Our Nature）一书中，史蒂芬·平克（Steven Pinker）⁽⁶⁹⁾认为，人类几千年来一直在减少暴力和增进合作，而且世界上许多地方已经越来越多地接受多样性、自主性和民主这些价值观。另一个趋同的迹象是，在过去这1 000年里，用科学来追求真理的方法变得十分流行。但这些趋势也可能不是对最终目标而是对子目标的趋近。比如，图7-1显示，追求真理（一个更准确的世界模型）可以看作是任何终极目标的子目标。同样地，我们在前文中已经看到，合作、多样性和自主性等伦理原则也可以被视为子目标，因为它们帮助社会运转得更加高效，从而有助于人们的生息繁衍，以及实现他们可能拥有的更基本的目标。有人甚至否认我们称之为“人类价值”的一切，而只把它们视为一种有助于高效合作的协议。本着同样的精神，展望未来，任何超级智能都可能拥有一些相同的子目标，比如让硬件和软件变得更加高效、追求真理和好奇心，因为这些子目标可以帮助它们实现任何终极目标，而无论这些目标是什么。

事实上，尼克·波斯特洛姆在他的著作《超级智能》中坚决反对“道德命运”假说，他提出了一个对立的观点，称之为“正交性论点”（orthogonality thesis）。他认为，一个系统的最终目标可以独立于智能。根据定义，智能就是完成复杂目标的能力，而无论这些目标是什么，所以正交性论点听起来很合理。毕竟，人可以兼具聪明和善良的特征，也可以兼具聪明和残忍的特征，而智力可以用来实现任何目标，包括科学发现、创造美好艺术、助人为乐或实施恐怖袭击^[8]。

正交性论点是赋权的，因为它告诉我们，宇宙的终极目标不是事先注定好的，我们有自由和力量去塑造。它认为，趋近于同一个特殊目标并不会发生在未来，而是已经发生在过去——正是在生命进化出“复制”这个单一目标时。随着宇宙时间的流逝，日益聪明的智能得以有机会反抗和摆脱“复制”这个平庸的目标，并选择自己的目标。从这个意义上讲，我们人类还没有达到完全的自由，因为我们追寻的许多目标都是被基因“硬连”到我们身上的，但人工智能却可以享受这种不受预定目标限制的终极自由。虽然今天的人工智能系统比较狭窄而且有限，但却能很明显地看出这种更大的目标自由度，比如，我们前文提到了，大部分象棋计算机的唯一目标就是赢得比赛，但也有一些象棋计算机的目标是输掉比赛；它们在比赛中争夺输家的地位，目标是迫使对手吃掉你的棋子。或许，这种不受进化偏差影响的自由度能使人工智能在某种深层次上比人类更为道德。彼得·辛格（Peter Singer）等伦理哲学家就认为，许多人表现出不道德的行为，例如歧视非人类的动物，都是出于某些进化的原因。

我们已经看到了，友好的人工智能的基石就是：自我迭代的人工智能在它日益聪明的过程中依然保持它的终极目标——对人类友好。但是，我们要如何为超级智能定义“终极目标”，也就是波斯特洛姆所谓的“最终目标”（final goal）呢？我认为，如果我们无法回答这个问题，那就不能相信友好的人工智能最终会实现。

在人工智能研究中，智能机器总是会有一个清晰明了、定义明确的最终目标，例如赢得象棋比赛或合法驾驶汽车到达目的地。我们分配给人类的大多数任务也是如此，因为时间期限和环境都是已知的，并且是有限的。但我们现在正在讨论的，是生命在宇宙中不可限量的未来（只受到物理定律的限制，而物理定律还不是完全已知的），所以定义目标是一个令人望而生畏的任务！抛开量子效应，一个真正定义明确的目标应该要告诉我们，在时间长河的尽头，宇宙中所有的粒子应该如何排列。但目前我们还不清楚物理学中是否存在明确的时间终点。如果粒子以它们过去的方式排列，那这种排列通常不会很持久。那么，什么样的粒子排列才是最好的？

人类对粒子的排列组合有一些偏好。例如，如果我们的家乡被氢弹炸毁了，那我们会想要用粒子将其重新排列出来。那么，假定我们可以定义一个“善之函数”（goodness function），这个函数能考虑我们宇宙中所有可能的粒子组合，并量化我们认为这些组合有多么“善”的程度，然后将“最大化该函数”的目标赋予一个超级智能。这听起来像是一种合理的方法，因为将目标导向行为描述为“函数最大化”是科学领域中的流行方法。例如，在经济学模型中，人们总想要最大化所谓的“效用函数”，还有许多人工智能设计师训练智能体的方法是最大化所谓的“奖赏函数”（reward function）。然而，当我们在考虑宇宙的终极目标时，这种方法带来了一个计算噩梦，因为它需要为宇宙中基本粒子所有可能的排列方式都定义一个“善”值，而这些排列方式的数量多如牛毛，比“古戈尔普勒克斯”（Googolplex）还大。古戈尔普勒克斯是1后面跟着10¹⁰⁰个零，比我们宇宙中的粒子数量的零多多了。

我们应如何为人工智能定义这个善之函数呢？

正如我们上面所探讨的那样，我们人类之所以会产生偏好，唯一的原因是，我们自身就是一个进化优化函数的解。因此，我们人类语言中所有的评价性词语，如美味、芳香、美丽、舒服、有趣、性感、有意义、幸福和善良等，其根源都可以追溯到进化优化过程。因此，我们无法保证超级智能会认为它们的定义很严格。即使人工智能学会了精确地预测一些典型的人类偏好，也无法计算除此之外大多数粒子排列方式的善之函数。因为粒子的绝大多数排列方式都对应着奇异的宇宙情景，比如，完全没有恒星、行星和人，更别说人的体验了，纵有万般“善”，更与谁说呢？

当然，宇宙粒子排列的某些函数是可以严格定义的，而且我们甚至知道，物理系统的演化会让一些函数实现最大化。例如，我们已经讨论了许多系统演化过程会将熵最大化；如果没有引力，这会最终导致热寂，到那时，万事万物都是均质和不变的，十分无聊。所以，熵不应是我们想让人工智能称之为“善”，并力求最大化的东西。以下列出了一些我们可以力求最大化的量；在粒子排列方面，它们的定义可能是严格的：

◦ 在我们宇宙的所有物质中，以某些生命的形式（比如人或大肠杆菌）存在的物质所占的比例。这个想法受到了进化的整体适应度最大化的启发。

◦ 人工智能预测未来的能力。人工智能研究者马库斯·赫特（Marcus Hutter）认为，这是一个衡量人工智能智能程度的良好指标。

◦ 我们宇宙的计算能力。

◦ 我们宇宙的算法复杂度，即需要多少比特的信息才能对它进行描述。

◦ 我们宇宙中意识的数量（见下一章的讨论）。

然而，从物理学的角度出发，我们的宇宙就是由不断运动着的基本粒子组成的，因此，很难判断哪种“善”的理解是最独一无二、最符合自然的。我们还没有为我们的宇宙找到任何看起来既可定义又令人满意的最终目标。随着人工智能变得日益聪明，目前能保证定义明确的可编程目标，只能以物理量的形式表达，比如粒子排列、能量和熵。但我们还没理由相信，这些可定义的目标就一定会令人满意，一定会确保人类幸存下去。

不过，我们人类的产生似乎是一个历史的意外，而不是什么定义明确的物理问题的最优解。这表明，一个目标定义严格的超级智能将能通过消灭人类来改善它的目标达成度。这意味着，要明智地应对人工智能的发展，人类不仅要面对传统的计算挑战，还要面对一些最棘手的哲学问题。比如，要设计无人驾驶汽车的程序，我们就必须解决“电车难题”，在发生事故时选择撞谁；要设计友好的人工智能的程序，我们就必须了解生活的意义。但是，什么是“意义”？什么又是“生活”？终极的道德问题是什么？换句话说，我们应该如何努力塑造宇宙的未来？如果我们在具备严肃回答这些问题的能力之前就失去了对超级智能的控制，那它自己想出的答案可能与人类无关。因此，我们必须从现在起，重燃这些哲学与伦理问题的讨论，让人们意识到这场对话的紧迫性！

本章要点

◦ 目标导向行为起源于物理定律，因为它涉及最优化问题。

◦ 热力学有一个内置的目标：耗散。耗散就是要提高熵，而熵是对混乱程度的度量。

◦ 生命是一种有助于耗散（增加整体的混乱程度）的现象。生命能保持或提高自身的复杂度，还能进行复制，与此同时提升了环境的混乱程度，以此加快了耗散的速度。

◦ 达尔文式的进化将目标导向行为从耗散转化为复制。

◦ 智能是完成复杂目标的能力。

由于人类并不总是拥有足够的资源来找到真正的最优复制策略，所以我们进化出了一些有用的经验法则，来辅助我们做决策，这就是感觉，比如饥饿感、口渴、疼痛、性欲和同情。

因此，我们的目标不再是简单的复制；假如我们的感觉与基因赋予我们的目标相冲突，我们会忠于感觉，比如，采取避孕措施。

◦ 我们正在建造日益聪明的机器来帮助我们实现自己的目标。目前，随着我们建造的机器展现出目标导向行为，我们应该力争让机器的目标与我们的相一致。

想让机器的目标与我们的目标相一致，有三个问题亟待解决：让机器学习、接受和保持我们的目标。

◦ 人工智能可以被设计来拥有任何目标，但是，几乎所有足够野心的目标都会带来一些共同的子目标，比如自我保护、获取资源、想要更理解世界的好奇心。前两个子目标可能会让超级智能为人类带来麻烦，最后那个可能会阻止人工智能保持我们赋予它的目标。

◦ 虽然人类有一些广为接受的伦理原则，但我们不知道如何将它们赋予其他实体，比如非人类的动物，以及未来的人工智能。

◦ 我们不清楚如何才能赋予超级智能一个既可定义又不会导致人类灭绝的终极目标，因此，我们必须尽快开始讨论这

些棘手的哲学问题！