生命3.0：人工智能时代，人类的进化与重生

这留给我们最后一个关键的问题：“谁或者什么东西会控制智能爆炸及其后果？他／它的目标是什么？”我们将在下一章讨论可能的目标和结果，并在第7章进行更加深入的探讨。为了研究关于控制的问题，我们需要知道人工智能可以被控制到何种程度，以及人工智能可以控制到何种程度。

最终究竟会发生什么事呢？你会发现，严肃的思考者们莫衷一是。有些人认为结果一定是悲剧，而另一些人则坚称结果一定是极好的。然而，对于我来说，这个问题本身就有问题，因为它是在被动地询问“会发生什么”，就好像未来已经注定好了一样，而这是错误的！如果一个高级外星科技文明明天就会抵达地球，那么此时，问它们的宇宙飞船抵达时“会发生什么”才是合适的，因为它们的力量可能远远超过我们，所以我们无法对结果产生任何影响。然而，如果一个由人工智能驱动的高级科技文明即将到来，而人类正是它的缔造者，那么，人类对结果具有很大的影响力，这个影响是在我们创造这个人工智能的过程中潜移默化地加诸其上的。所以我们应该问：“应该发生什么？我们想要什么样的未来？”

在下一章中，我们将探讨当前的通用人工智能研究可能产生的种种后果。我很好奇，你将如何对这些结果由好到坏进行排序。只有我们努力思考过自己想要什么样的未来，才有可能向这个方向前进。如果我们不知道自己想要什么，那就无法得偿所愿。

本章要点

◦ 如果有一天我们造出了人类水平的通用人工智能，就可能会触发一场智能爆炸，将人类远远甩在后面。

◦ 如果这场智能爆炸是由一些人类控制的，那他们可能会在几年时间内控制整个世界。

◦ 如果人类没能掌控这场智能爆炸，那么，人工智能可能会以更快的速度控制世界。

◦ 快速的智能爆炸可能会导致单极化的超级力量的出现；一个延续几年或者几十年的慢速智能爆炸更有可能促成多极化的情形，许多相当独立的实体在其中达成一种力量的平衡。

◦ 生命的历史说明，它总会自我组织成更复杂的层级结构，这种层级结构是由合作、竞争和控制共同塑造的。超级智能或许会促成更大宇宙尺度上的合作，但是，它最终会导致极权主义和由上自下的控制，还是会赋予个体更多权力，目前尚不清楚。

◦ 赛博格和上传者是可能的，但或许并不是实现机器智能的最快途径。

目前人工智能研究竞赛的高潮要么是人类历史上最好的事情，要么是最坏的事情。可能的后果形形色色，多种多样。我们将在下一章探讨这些可能性。

◦ 我们需要努力思考，我们希望看到什么样的结果，以及如何才能达成这个目标，因为如果我们不去思考自己想要什么，很可能无法得偿所愿。

奔向通用人工智能的竞赛已经打响。虽然我们不知道它将如何展开，但不能因此而停止思考它会带来的后果，因为我们的想法会影响结果。你希望看到什么样的局面呢？为什么？

◦ 你想看到超级智能吗？

◦ 你想要人类继续存在，还是被取代，还是变成赛博格、上传者，或是被模拟？

◦ 你想要人类还是机器处于控制地位？

◦ 你想要人工智能产生意识吗？

◦ 你想要最大化积极体验，还是最小化痛苦折磨，还是顺其自然，让它自行解决？

◦ 你想要生命被散播到宇宙各处吗？

◦ 你想要文明朝着你所支持的更高目标而努力发展吗？还是说，你也可以接受未来的生命形态满足于在你看来毫无意义、陈腐不堪的目标？

为了促成这样的思考和对话，让我们来探索一下表5-1和表5-2中总结的人工智能可能带来的各种情形及其特征。这个清单虽然并不完整，但我们可以用它来拓展可能性的范围。我们不想因为计划不周而陷入错误的泥淖。我建议你略记一下你对第1～7个问题的暂时回答，然后在读完本章之后回顾一下，看看你是否改变了主意。你可以在http://AgeOfAi.org上做这件事，在这个网站，你还可以比较一下其他读者的笔记，并和他们进行讨论。

表5-1 人工智能可能带来的后果总汇

续前表

自由主义乌托邦

首先，让我们来看看人与科技和平相处的情形。在某种情况下，人甚至能与科技融为一体，就像许多未来学家和科幻作家幻想的那样。

在自由主义乌托邦，地球上的生命以及地球之外的生命比以往任何时候都更加多样化。如果你看看卫星拍摄的地球图像，就可以很轻松地分辨出三个区域：机器区域、人类专属区域和人机混合区域。

机器区域是由机器人控制的巨大工厂和计算中心，那里没有生物意义上的生命，其目的是把每个原子都物尽其用。尽管机器区域看上去单调乏味，但它们的内部却非常活跃，在它们的虚拟世界中发生着惊人的事情。在那里，庞大的计算过程正在揭开宇宙的秘密，革命性的技术如雨后春笋般不断涌现。地球上的许多超级智慧的智能在互相竞争与合作，而它们都居住在机器区域。

人机混合区域的居民高度混杂，包括计算机、机器人、人类以及三者的混合体。正如汉斯·莫拉维克和雷·库兹韦尔等未来学家所设想的那样，许多人已经用科技将自己的身体升级为不同程度的赛博格，还有一些人已经将自己的智能上传到了新的硬件上，使得人与机器的界限日渐模糊。大多数智能的存在并没有永久的物理形态。相反，它们以软件的形式存在，能够在计算机之间顷刻移动，还能通过机器人的身体在物理世界中展现自我。由于这些智能可以很容易地自我复制或合并在一起，这里的“人口规模”总在不断变化。又由于不受物质形态的束缚，这里的居民拥有相当不同的人生观：它们感觉不到那么强烈的个人主义，因为它们总是不断地与他人分享知识和体验模块；并且，它们主观上会感觉自己是永生的，因为它们可以随时对自己进行备份。从某种意义上说，生活最核心的部分并不是智能，而是体验：特别精彩的体验会永远活下去，因为它们不断地被其他人复制和再次享用，而无趣的体验则被其所有者删除，以腾出存储空间留给更好的体验。

尽管大多数互动都是在虚拟环境中进行的，但许多智能仍然喜欢使用物理形态的身体进行互动和活动。比如，假设莫拉维克、库兹韦尔和拉里·佩奇上传智能后，他们的上传版本喜欢在一起玩。他们喜欢轮番创造虚拟现实，然后一起探索，但偶尔，他们也喜欢附身在现实世界中的双翼机器鸟身上，一起在天空中翱翔。一些在人机混合区域的街道、天空和湖泊漫游的机器人，同样也可能是由上传或增强的人类所控制的，他们选择在人机混合区域中将自己的智能附身在物理实体上，因为他们喜欢有人陪伴的感觉。

相反，在人类专属区域，人类水平和更高水平的通用智能机器都被禁止出入，通过技术增强的生物有机体也同样被禁止。这里的生活与我们今天没有太大的不同，只不过更加富裕和方便。贫困已经基本销声匿迹，大部分疾病都可以被治愈。居住在这些地区的人中，有一小部分不太被其他区域的居民所了解，或者知之甚少，他们也不太理解其他区域的高级智能体都在做些什么。不过，他们中的很多人对生活都很满意。

人工智能经济

绝大部分的计算都发生在机器区域，主要由居住在那里的许多互相竞争的超级智能所拥有。凭借其高超的智能和技术，它们的力量无人能敌。这些人工智能达成了一个协议，建立了一个自由主义的治理体系。这个治理体系只保护私有财产，除此之外别无他用。它们用这个体系来互相合作和进行协调。这些产权扩展到包括人类在内的所有智能实体，并解释了人类专属区域是如何形成的，早些时候，一群人聚在一起，决定在他们的区域内禁止向非人类出售财产。

由于先进的技术，超级智能比人类富裕得多，甚至比比尔·盖茨与一个无家可归的乞丐相比的富有程度还要高。虽然，人类专属区域的居民比今天大多数人的日子要好得多，但他们的经济与机器区域的经济相当脱节。所以，除了少许他们可以理解、复制和用得上的技术之外，其他区域的机器对人类专属区域的居民几乎没有任何影响，就像今天的阿米什人和各种与科技隔绝的土著部落一样，他们的生活水平按过去的标准来看，至少和过去不相上下。人类没有什么东西可以卖给机器，不过这没关系，因为机器不需要任何回报。

在人机混合区域，人工智能与人类之间的财富差异更为明显，这导致土地的价格远远贵于其他产品，算得上天文数字了，因为土地是人类拥有的唯一一种人工智能想要购买的东西。因此，大多数拥有土地的人类选择将一小部分土地出售给人工智能，以换取他们及其后代或其上传者的永久性基本收入。这使人类摆脱了对工作的需要，将他们从中解放出来，好享用物质世界和虚拟现实中由人工智能生产的又好又多又便宜的产品和服务。只要把人工智能考虑进去，那么，人机混合区域的主要功能就是为了玩，而不是工作。

为什么这种情况可能永远不会发生

听到我们可能会变成赛博格或者上传者，你可能会很兴奋。但是，可别高兴太早，这种情形也可能永远不会发生。让我们先来看看原因。首先，想要实现人类增强，也就是成为赛博格和上传者，有两条可能的路径：

◦ 我们自己发现了实现它们的方法；

◦ 我们建造了超级智能机器，让这些机器来搞明白实现它们的方法。

首先，如果第一条路先走通，它自然会让世界充满机器人和上传者。然而，正如我们在第4章所讨论的那样，大多数人工智能研究者认为，第二条路的可能性更高。因为建造增强大脑和电子大脑的难度远远高于从零开始建造一台超人类水平的通用人工智能的难度，就像机器鸟比飞机更难建造一样。即使我们建成了超强的人工智能，能不能造出赛博格和上传者依然不甚明晰。如果尼安德特人拥有10万年的时间来进化，变得更聪明，对他们自己来说自然很好，但我们智人却从来没有给他们这么多的时间。

其次，即使赛博格和上传者真的出现了，我们也不清楚这个情形是否稳定，能不能维持下去。想一想，几个超级智能体难道会甘于几千年保持势均力敌的状态？它们为什么不选择合并，从而融合成一个更加聪明的个体，然后统治世界呢？此外，既然机器不需要人类，而且它们能以更低的成本更好地完成人类的工作，为什么还会选择尊重人类的产权，并把人类留在身边呢？库兹韦尔推测说，自然人和增强人都会受到保护，免于灭绝，因为“人类因发明了人工智能而受到它们的尊重”^[1]。然而，正如我们在第7章中将要讨论的那样，我们不能陷入将人工智能拟人化的陷阱，假设它们也拥有“感激”这种人类才有的情感。事实上，虽然人类总是习惯性的感恩，但我们中的许多人也没对我们智慧的创造者DNA表现出多么的感激，而是选择用避孕的方式来阻挠它实现自己的目标。

即使我们相信人工智能会尊重人类产权，它们也完全可以通过其他方式来逐渐获得人类的土地，比如，用第4章提到过的那些聪明的说服方法，来说动人类出售一些为奢侈生活而保留的土地。在人类专属区域，它们可以怂恿人类发动允许土地买卖的政治运动。毕竟，即使是坚持有机生物至上的顽固“卢德分子”也可能想卖掉一些土地，以挽救疾病缠身的儿童或者获得永生。如果人类忙于教育、娱乐和其他事情，那么，即便人工智能不插手，出生率也可能会下降，从而缩小人口规模，就像日本和德国目前的情况一样。这样的话，人类可能会在几千年内灭绝。

痛苦将不再是人类的专利

热心的支持者认为，赛博格和上传者有潜力让所有人通过技术获得幸福和延长寿命。事实上，由于相信未来能实现智能上传，有100多人选择死后将大脑交给亚利桑那州的Alcor公司冷冻起来。但是，即使这项技术变成现实，也不一定人人都能用得上。富翁们当然能使用，但除此之外还有谁呢？即使这项技术变便宜了，让穷人也能负担得起，还有一个问题是，界限应该划在哪里呢？损伤严重的大脑能被允许上传吗？我们会上传大猩猩吗？还有蚂蚁、植物和细菌呢？未来的文明是否会像囤积强迫症患者一样，试图上传一切，或者本着诺亚方舟的精神，在每个物种中挑选一些有趣的个体来上传？又或者，在每个人种里挑选几个有代表性的个体？到那时，可能已经存在大量更加智能的实体，那么，上传一个人或许并不比模拟一只老鼠或蜗牛更有意思。这就好比，虽然我们目前的技术完全有能力复活20世纪80年代DOS系统中的表格程序，但没有人觉得这是一件有意思的事，也不会有人去这么做。