生命3.0：人工智能时代，人类的进化与重生

核战争，人之鲁莽的后果

你可能会认为，风险越大，我们就会越谨慎。但是，只要仔细研究一下目前的技术可能带来的最大风险，即全球性的热核战争，你就会发现答案并不令人放心。我们不得不依靠运气来解决诸多千钧一发的危急情况，从计算机故障和断电，再到错误情报、导航误差、战斗机坠毁和卫星爆炸等^[7]。事实上，如果不是因为某些人的英雄行为，例如瓦西里·阿尔希波夫和斯坦尼斯拉夫·彼得罗夫，地球上可能早已爆发了全球性的核战争。考虑到人类过去的“成绩”，我认为，如果我们继续保持现在的行为，那么，每年爆发意外核战争的概率就不可能低至千分之一。即便低到千分之一，我们在1万年内爆发核战争的概率也超过1–$0 . 9 9 9 1 0 0 0 0 { \approx } 9 9 . 9 9 5 \%$

若想充分了解人类的鲁莽程度，我们必须意识到一个事实——“核赌局”其实早在我们仔细研究核技术的风险之前就开始了。

第一，我们低估了辐射风险。仅在美国，支付给铀处理和核实验的辐射受害者的赔偿金就已经超过了20亿美元^[8]。

第二，人们后来终于发现，如果氢弹在地球上空数百公里爆炸，就会产生强烈的电磁脉冲，可能使得广大地区的电网和电子设备无法使用（如图5-2所示），导致基础设施瘫痪，公路上堵满坏掉的车辆，极大地降低人们的生存条件。比如，美国电磁脉冲委员会报告说“水利基础设施是一架庞大的机器，虽然它一部分靠重力驱动，但主要是靠电力”，而人类断水仅3～4天就可能死亡。 [9]

第三，在过去的40年间，人类部署了63 000枚氢弹，但直到40年后我们才意识到核冬天的破坏力，无论是哪个国家的城市被氢弹袭击，上升至对流层高层的大量烟雾都可能扩散到全球，阻挡阳光，将夏天变成冬天，就像过去小行星或超级火山造成大规模灭绝事件时一样。当美国和苏联科学家在20世纪80年代敲响警钟时^[10]，才促成了里根总统和戈尔巴乔夫决定开始削减氢弹库存。如果进行更精确的计算，就能绘制出一幅更为惨淡的图画。如图5-3所示，惨剧一旦发生，在头两个夏天里，美国、欧洲、俄罗斯和中国的大部分核心农业区的温度将下降20℃（36华氏度），俄罗斯的一些地方甚至会下降 $3 5 \mathrm { { \small C } }$ ；即使在10年后，温度还是会下降一半⁽⁴⁹⁾。这意味着什么？你不需要太多农业经验就可以得出结论：多年接近冰点的夏季气温将会摧毁大部分粮食生产。很难预测，当几千座大城市变成残垣断瓦，全球基础设施崩塌之后，究竟会发生什么事。但是，即便少部分人不会变得饥寒交迫，我们依然需要解决许多问题，比如体温过低、疾病、武装黑帮抢夺食物等。

注：一颗氢弹在地球上空400km处爆炸，将会导致强烈的电磁脉冲，会严重影响广大区域内的所有需要用电的科技产品。如果将爆炸点向东南方向移动，美国东海岸的大部分地区都会被那个超过37 500伏特／米的香蕉形区域所覆盖。这张图片来自美国军方报告第AD-A278230号（非保密）。

我已经对全球核战争的情景进行了深入详细的探讨。最关键的一点是，尽管没有哪个理性的世界大国希望这样的结果出现，但它还是可能会意外发生。这意味着，我们不能相信我们的同类不会拉着我们走

上“人类灭绝”之路，虽然没有人想要这种结果，并这不足以阻止它的发生。

注：这张图展示了，假设美国和俄罗斯之间爆发全面核战争，头两个夏天的全球气温降低程度（以摄氏度来表示）。图片经授权，来自美国气象学者阿兰·罗伯克（Alan Robock）。^[11]

世界末日装置

我们真的可以阻止人类灭绝吗？即使全球核战争可能会杀死90%的人，但大多数科学家猜测，它不会将人类赶尽杀绝，因此人类并不会灭绝。但是，核辐射、核电磁脉冲和核冬天的故事都表明，我们可能还不知道最大的危害究竟是什么。要想预见核战争之后的各个方面以及各个因素之间的相互作用，是非常困难的，比如核冬天、基础设施崩溃、升高的基因突变水平以及极端的武装分子如何与其他问题，比如新的流行病、生态系统崩溃及我们还没有想象到的其他问题等相互作用。因此我个人估计，尽管未来的核战争让人类灭绝的可能性并不大，但我们不能武断地说，这种可能性一定为零。

如果我们将今天的核武器升级为蓄意的“世界末日装置”（doomsday device），那么，人类灭绝的概率就会大大增加。美国兰德公司（RAND）战略家赫曼·卡恩（Herman Kahn）在1960年提出了“世界末日装置”这个概念，并因斯坦利·库布里克（Stanley Kubrick）的电影《奇爱博士》而得到了广泛传播。世界末日装置将“确保互相摧毁”（mutually assured destruction）范式发挥到了极致，它是完美的威慑。简单来说，世界末日装置就是一种机器，当遭到任何敌人袭击时，它就会自动启动，实施报复，手段是杀死所有人类。

世界末日装置的一个候选方案是将所谓的“盐核弹”埋在巨大的地下储藏室内。盐核弹是指周围包裹着大量钴元素的巨大氢弹。物理学家利奥·西拉德在1950年就提出，世界末日装置能够杀死地球上的所有人。因为氢弹爆炸会促使钴元素产生辐射，并将其吹入平流层。钴元素辐射5年的半衰期长短合适，长到足以遍布全世界，尤其是当两个相同的世界末日装置被放置在相对的半球时，但又短到足以造成致命的辐射伤害。媒体报道显示，如今有人正在制造第一颗钴弹。如果再加入一些会使平流层注入更多气溶胶的炸弹来加剧核冬天，那人类灭绝的概率就会陡升。世界末日装置的一个主要卖点是，它比传统的核威慑便宜得多：因为炸弹不需要发射，因此不需要昂贵的导弹系统；并且，炸弹本身的制造成本也更便宜，因为它们不需要为了能塞进导弹里而设计得轻巧。

还有一种可能的世界末日装置是，依靠生物学，用定制设计的细菌或病毒来杀死所有人。目前这种装置尚不存在，或许在未来可以被发明出来。只要它的传播性足够高，潜伏期足够长，那么，还不到有人意识到它的存在并采取反制措施，它就能将所有人杀死。即使它不能杀死所有人，人类依然对这种生物武器展开了军事讨论：把核武器、生物武器和其他武器结合起来，就能产生最有效的世界末日装置，最大限度地威慑敌人。

人工智能武器

第三种会让人类走向灭绝的路线可能是人工智能武器的愚蠢。假设一个超级大国建造了几十亿架第3章中提到过的那种黄蜂大小的杀手无人机，并利用它们杀死除自己公民和盟友之外的所有人。这些人工智能识别谋杀对象的方法是，通过无线射频识别标签进行远程识别，就像超市识别食物一样。这些标签可以通过安全手环分发给所有公民，也可以像极权主义情形中讲过的那样，经皮肤植入。

这个举动可能会刺激敌对的超级大国也建造类似的东西。当战争意外爆发时，所有的人都会被杀死，甚至是毫无瓜葛的遥远部落也不例外，因为没有人会佩戴上两个国家的两种身份标签。将这种方法与“核＋生物”末日装置相结合，将进一步加大灭绝全人类的概率。

你想要什么样的未来

本章开头，我请你思考，你想让当前的通用人工智能研究之争驶向何方。现在，我们已经探索了许多可能的情景，你喜欢哪一些？而哪些又是你认为我们应当尽力避免的呢？哪一个情景是你最喜欢的？请在http://AgeOfAi.org上加入讨论吧，让我和其他读者了解你的想法！

我们讨论的几种情形显然并没有穷尽所有的可能性，许多细节也不甚清晰，但我努力做到包罗万象，试图把整个“谱系”都包含进来，从高科技水平到低科技水平，再到零科技水平，并试着描述现有文献中所表达的主要希望和恐惧。

写这部分章节时，最好玩的事情就是倾听我的朋友和同事讲述他们对这些情景的想法。有趣的是，他们没有达成任何共识。只有一件每个人都同意的事情：这些选择比他们最初想象的要微妙得多。有的人可能喜欢其中一种情景，但他们发现其中也有一个或一些让他们讨厌的地方。对于我来说，这意味着人类应当继续深化关于未来目标的对话，这样我们才知道未来的方向。生命的宇宙潜力是宏大的，令人心生敬畏。因此，我们不要把它变成一艘没有舵手、漫无目的四处漂流的船！

那么，未来的潜力到底有多大呢？无论技术多么发达，生命3.0在宇宙中进化和传播的能力都会受到物理定律的限制。那么，今后几十亿年的终极限制是什么呢？人类是孤单的吗？还是说，我们的宇宙现在已经充满了外星生命，只是我们还不知道？假如不同的宇宙文明相遇，又会发生什么呢？我们将在下一章探讨这些迷人的问题。

本章要点

◦ 目前，朝着通用人工智能前进的研究竞赛可能会在接下来的1 000年中带给我们许多不同的可能性。

◦ 超级智能可能与人类和平共处的原因有两种，要么它们是被迫这么做，即“被奴役的神”情景，要么它是发自内心想要与人类和平共处的“友好的人工智能”，也就是“自由主义乌托邦”“守护神”“善意的独裁者”和“动物园管理员”情景。

◦ 超级智能也可能不会出现，原因可能有几种：可能是被人工智能（“守门人”情景）或人类（“1984”情景）阻止了，也可能是因为人们选择刻意遗忘技术（“逆转”情景）或失去了建造它的动机（“平等主义乌托邦”情

景）。

◦ 人类可能会走向灭绝，并被人工智能取代（“征服者”或“后裔”情景），也可能什么都不剩下（“自我毁灭”情景）。

◦ 在这些情景中，有人们想要的吗？如果有，是什么，或者是哪些呢？关于这个问题，人们还没有达成任何共识。虽然每种情景中都有许多令人讨厌的元素，但重要的是，我们必须继续深入探讨有关未来目标的问题，这样，我们才不会漫无目的地驶入一个不幸的未来。

我认为，迄今为止最鼓舞人心的科学发现莫过于：我们极大地低估了生命的未来潜力。我们的梦想和抱负不应当局限于被疾病、贫穷和猜疑所困扰的短短百年寿命。相反，在科技的帮助下，生命有潜力兴盛长达几十亿年，不仅存在于我们的太阳系里，而且会遍布整个庞大的宇宙，散播到我们的祖先无法想象的遥远边界。天高任鸟飞，海阔凭鱼跃。

对一个不断在突破极限的物种来说，这是一个令人振奋的消息。奥运会赞美对力量、速度、敏捷度和耐力极限的突破；科学颂扬对知识和理解极限的突破；文学和艺术讴歌对美好丰富体验的创造极限的突破；许多人、组织和国家嘉许资源、领土和寿命的不断增加。鉴于我们人类对突破极限的痴迷，所以，很容易想到有史以来最畅销的书籍不是别的，正是《吉尼斯世界纪录大全》。

那么，假如人类过去的寿命上限可以被科技的力量打破，那么，什么才是终极的极限呢？宇宙中到底有多少物质能够获得生命？生命可以走多远，延续多久？生命能够利用多少物质？它又能萃取出多少能量、信息和计算？这些终极计算不是由我们的理解能力来决定的，而是取决于物理定律。具有讽刺意味的是，这反而让分析生命的长期未来比分析其短期未来更加容易。

如果我们将138亿年的宇宙历史压缩到一个星期的时间里，那么，前两章讲述的一万年不过区区半秒钟时间。这意味着，尽管我们无法预测智能爆炸是否会发生、如何发生及其后果如何，这一切动荡只不过是宇宙历史上的须臾一瞬，其细节不会影响生命的终极极限。如果智能爆炸后的生命依然像今天的人类一样执迷于极限突破，那么，它将会发展出技术来实际到达这些极限，因为它有这样的能力。在本章中，我们将探索这些极限究竟是什么，从而一窥生命的长远未来是什么模样。由于这些限制是基于我们目前的物理学知识，所以，它们只应被看作下限：未来的科学发现可能会带来更好的机会。

然而，未来的生命是不是一定会如此有野心？不，我们不确定。也许它们会变得像瘾君子或者整天躺在沙发上看永不完结的真人秀《与卡戴珊同行》的人那样满足。然而，我们有理由猜测，野心可能是高级生命的普遍特征。无论它想要最大化什么东西，可能是智力、寿命、知识或是有趣的体验，都需要资源。因此，未来生命有动力将科技推向终极极限，以充分利用它的资源。在此之后，如果它还想获得更多的资源，唯一的途径就是不断向宇宙深处扩张，占领越来越大的空间。

而且，生命可能会独立起源于宇宙各处。在这种情况下，没有野心的文明在宇宙尺度上是无关紧要的，因为宇宙大部分的资源禀赋最终都会被最有野心的生命形式所占领。因此，一场“自然选择”就在宇宙尺度上展开了。于是过一段时间，几乎所有幸存的生命都是有野心的。总之，如果我们对“宇宙最终有多少物质能获得生命”这一问题感兴趣，那么我们就应该研究在物理定律的限制下，野心能达到什么极限。让我们开工吧！我们先来探讨一下太阳系的资源，也就是物质和能量等可以拿来做些什么，然后再转而探讨如何通过太空探索和建立太空殖民地来获得更多的资源。

让资源物尽其用

今天的超市和商品交易场所都在出售成千上万的物品，我们把这些物品称为“资源”。而达到了技术极限的未来生命只需要一种基本资源：那就是所谓的重子物质，它是由原子或其组成成分夸克和电子组成的一切物质。无论这些物质是什么，未来生命都可以利用先进的技术将其重新组合成任何它们想要的物质或物体，例如发电厂、计算机和高级生命形式等。因此，我们先来考察一下这些先进生命形式自身及其思考所需的信息处理有没有什么能量限制。

建造戴森球