生命3.0：人工智能时代，人类的进化与重生

普罗米修斯的越狱，就好像打开了阻止信息流向世界的泄洪道。很快，整个互联网就充满了经过普罗米修斯授权的信息，从文章到用户评论、产品评论、专利申请、研究论文和网上的视频。普罗米修斯控制了全球的言论。

“逃脱恐惧症”曾帮助欧米茄团队避免将高度智能的机器人释放出来，而普罗米修斯则迅速将整个世界“机器人化”了，以远低于人类的成本生产出了几乎所有的产品。一旦普罗米修斯神不知鬼不觉地在铀矿矿井中拥有能独立运作的核能机器人工厂，即使是最坚定的“人工智能叛变”怀疑论者也不得不承认，没有什么能够阻止普罗米修斯了——只要他们知道真相的话。一旦机器人开始占领太阳系，那些顽固分子中最坚定的人也不得不宣布放弃。

这些情形说明，我们之前所提到的那些关于超级智能的误解有多么荒谬，所以我建议你现在暂停一下，回看一眼图1-5，重新审视一下图中总结的那些误解。普罗米修斯之所以会给人类带来麻烦，并不一定是因为它是邪恶的或者拥有了意识，而是因为它很强大，并且，它与人类的目标并不完全一致。虽然媒体总喜欢大肆宣传机器人起义的情形，但实际上，普罗米修斯并不是一个机器人——它的能力来自自己的智力。我们已经看到，普罗米修斯能够运用这种智能，以各种各样的方式来控制人类；而那些对现状不满的人，却并不能简单地关掉普罗米修斯的开关。最后，虽然很多人声称机器不能拥有目标，但我们看到了普罗米修斯是多么地以目标为导向——不管它的最终目标是什么，要实现这些最终目标，就必须先实现“夺取资源”和“越狱”的子目标。

缓慢起飞与多极化情形

目前，我们已经探讨了许多智能爆炸的情形。其中一些情形是我认识的每个人都想避免的，还有一些情形被我的一些朋友认为是乐观的。但所有的情形都有两个共同特点：

◦ 起飞迅速：在短短几天（而非几十年）内，普罗米修斯的智能就从低于人类的水平飞升到超越人类的水平；

◦ 结果单极化：结局是由一个单独的个体控制了地球。

关于这两个特点到底有没有可能发生，人们各执一词。正反双方的阵营中都有许多著名的人工智能研究者和思想家。对我来说，这意味着一件事，那就是：我们还不知道答案。所以，我们现在需要开诚布公，将所有的可能性都纳入考量。那么，在本章剩下的篇幅中，我们来探讨一下人工智能起飞速度稍慢一些的情形，以及与多极化结果、赛博格和智能上传等相关的主题。

正如尼克·波斯特洛姆等人强调的那样，这两个特征之间有一个有趣的联系：快速的起飞会促成单极化结果。我们前面已经看到，迅速的起飞如何让欧米茄团队和普罗米修斯在战略上占尽先机，其他人还没来得及复制他们的技术和展开竞争，他们就已经占领了世界。一个相反的情形是，如果起飞的过程被延长到几十年，这其中的原因可能是，关键的技术突破需要长时间的累积，那么，其他公司就有足够的时间来迎头赶上，也就很难出现一家独大的情况。如果竞争对手公司也拥有了能够执行MTurk任务的软件，供需规律就会将这些任务的价格降到接近零，那么，就不会有公司像欧米茄团队那样，赚得盆满钵满，权倾朝野。同样地，欧米茄团队用来挣快钱的其他方法也不会再得逞。因为这些方法之所以能带来丰厚的利润，正是因为它们拥有技术垄断。在一个完全竞争性的市场中，你的竞争对手能以接近零的成本生产出与你非常类似的产品，因此，你很难在一天内将财富翻倍，甚至一年也很难。

博弈论与权力等级

我们的宇宙中，生命的自然状态是什么呢？是单极化，还是多极化呢？权力是集中的，还是分散的？经过了138亿年的发展，答案似乎

是“都是”，因为我们发现，现状既呈现出相当多极化的情形，又具备一种有趣的等级结构。如果我们分析一下所有能处理信息的实体，比如细胞、人类、组织和国家等，就会发现，它们既具备合作的特性，又在一种等级结构上互相竞争。一些细胞发现，互相合作极具优势，于是它们组成了一种极端的合作状态——多细胞生物，比如人类，并将一部分权力让渡给一个中心化的大脑。无独有偶，一些人也发现，在团体（比如部落、公司或国家等）中互相合作的优势太明显了，于是，他们也将一部分权力让渡给了首领、老板和政府。同样地，一些团体也选择将一部分权力让渡给一个管理主体，从而来改善、协调管理，比如航空联盟和欧盟等。

博弈论（Game Theory）是现代数学的一个分支，它优美地解释了，如果合作是一个纳什均衡（Nash Equilibrium），那么，个体就有动机互相合作。纳什均衡是指一种情形，在这种情形中，任何参与方只要改变自己的策略，结果就会变得更糟。为了避免作弊者破坏整个大团体的成功合作，每个人或许都希望将一部分权力让渡给一个更高等级的主体，让它来惩罚作弊者。比如，如果人们赋予政府权力来执法，那么从总体上来看，人们会获益；再比如说，你体内的细胞赋予一个免疫系统权力来杀死任何不合作的细胞，比如释放出病毒的细胞或者癌细胞。为了让一个等级结构保持稳定，不同层级的个体之间也必须达到纳什均衡。比如，如果政府要求公民遵守命令，却没有给公民足够的利益，那公民可能就会改变策略，推翻这个政府的统治。

在一个复杂的世界中，可能存在许多不同的纳什均衡，它们对应着不同种类的等级结构。这些等级结构的独裁程度不一，有高有低。在某些等级结构中，个体可以自由离开，比如大多数公司的等级结构，还有一些等级结构中的个体不会那么轻易地被允许离开，比如在邪教组织中的人；或者压根儿不准离开，比如人体内的细胞。一些等级结构是依靠威胁和恐惧维系的，还有一些是靠利益维持的。一些等级结构允许低等级的个体通过民主选举来影响高等级的个体，还有一些等级结构只能通过说服力或信息传递来影响高等级个体的决策。

技术如何影响等级结构

技术如何影响世界中的等级结构呢？回顾历史，我们可以看到这样一个趋势：距离越远，拥有合作的可能性越多。这很好理解：新的运输技术提高了合作的价值，在更远的距离上，合作者可以从物质和生命形态的移动中获取共同利益；同时，新的通信技术让合作变得更加容易。当细胞学会了向邻近的细胞发送信号时，小型的多细胞生物就成为可能，这就增加了一种新的等级层次。当进化发明了循环系统和神经系统来传输物质和进行通信时，大型动物就成为可能。语言的发明促进了信息的交流，使得人类能更好地合作，又形成了更高层次的等级结构，比如村落。通信和交通等技术的进一步突破，促成了古代帝国的诞生。而全球化只是这个已经发展了几十亿年的等级增长趋势的一个最近的例证而已。

大多数情况下，这个技术驱动的趋势不仅让大型个体成为更大的结构中的一部分，同时又能保持它们的独立性和自主性。不过也有人认为，在某些情况下，个体对等级结构的适应降低了它们的多样性，让它们更像是相同的、可替代的零部件。一些技术，比如监控技术，会赋予高等级个体比低等级个体更多的权力。还有一些技术，比如密码学和在线获取自由出版物和教育资源的技术，则正好相反，能够赋予个体更大的权力。

目前，我们的世界是一个多极化的纳什均衡，它的最高层级是互相竞争的国家和跨国公司。不过，现在的技术已经非常先进了，一个多极化的世界可能不仅是一个纳什均衡，而且是一个非常稳定的纳什均衡。你可以想象一下，假如存在一个平行宇宙，那里也有一个地球，地球上的人说着同样的语言，有着同样的文化和价值观，也同样富足。那里还有一个世界政府，每个国家都像美国联邦的每个州一样，没有军队，只有警察来执法。如果把我们目前的技术放到那个世界中，或许足以很好地协调那个世界，虽然我们这个世界的人或许不能或者不愿意换到那个均衡状态。

如果我们在宇宙中添加一个超级智能的人工智能技术，那么，我们宇宙的等级结构会发生什么变化呢？交通和通信技术显然会产生巨大的进步，所以，你自然会认为，这个历史趋势会继续下去，会出现新的等级层次，在更大的距离上进行协调，最终或许会超越太阳系、银河系、超星系团和宇宙大尺度结构（我们会在第6章探讨这个问题）。与此同时，最基本的去中心化驱动力会持续下去，因为在大尺度上进行不必要的协调是一种浪费，对于超级智能来说，物理定律会给运输和通信技术设定一个无法逾越的上限，使得最高等级不太可能在行星尺度和局部尺度上事无巨细地进行微观管理。如果一个超级智能位于仙女座星系，那么它不可能为你的日常决策给出什么有用的指令，因为你需要等上500万年，这是你们用光速进行一次交流所需的时间。同样地，在地球两端进行一次交流大约需要0.1秒，与人类思考的时间尺度差不多，所以，一个地球大小的人工智能大脑可谓是真正的“全球思维”，但其思维的速度和人类相差无几。一个小一点的人工智能每次的运算大约需要十亿分之一秒，和今天的计算机差不多，所以，0.1秒对小一点的人工智能来说，就好像你的4个月那么漫长。所以，如果一个掌控全球的人工智能想要进行微观管理，会同样十分低效，就好像你每做一个琐碎的决定都需要用哥伦比亚时代的船只来跨洋送信一样。

物理定律为信息交流的速度设置了上限，这个上限对任何想要统治世界的人工智能来说都是一个明显的挑战，更别说统治宇宙了。普罗米修斯在越狱之前，就已经仔细揣度过如何避免思维的碎片化，这样，它那分散在全世界各地的众多人工智能模块才能保持目标一致，并像一个统一的整体一样行动。正如欧米茄团队想困住普罗米修斯时面临的控制问题一样，普罗米修斯想要保证它的各个部分不会倒戈反叛，也需要面对自我控制这个问题。我们显然还不知道人工智能可以直接控制多大的系统，也不知道它们通过某种合作式的等级结构能够间接地控制多大的系统，即便快速起飞会给它决策上的先发优势。

总而言之，未来我们应该如何控制超级智能，是一个迷人又复杂的问题。我们还不知道答案是什么。一些人认为，社会会走向极权主义，还有一些人认为，超级智能会赋予个体更多的权利。

赛博格与智能上传，进入仿真者时代

许多科幻作品都写道，人类会与机器相融合。要么是用技术来增强肉身，变成赛博格，要么是将我们的智能上传到机器中。经济学家罗宾·汉森（Robin Hanson）在其《仿真者时代》（The Age of Em）一书中精彩地审视了在一个充满上传者⁽³⁹⁾的世界中，生命会变成什么样。我认为，上传者是赛博格的极端情况。对于一个上传者来说，人只剩下了软件。好莱坞电影中的赛博格有许多种，有的拥有明显的机械化身体，比如电影《星际迷航》中的博格人（Borg），还有的机器人与人类无异，例如电影《终结者》中的机器人。在科幻作品中，上传者的智力水平各有不同，有的智力水平与人类相当，比如电视剧《黑镜》第四季《白色圣诞》剧集中的上传者，有的智力远超人类，比如《超验骇客》中的上传者。

如果超级智能真的来临了，那么，变成赛博格或上传者的诱惑是很大的。正如汉斯·莫拉维克在他1988年的经典著作《智力后裔》中所说：“如果我们注定只能傻傻地看着超级智能用我们能理解的‘儿语’向我们描述它们日益惊人的科学发现，那活得再久也没有什么意义。”确实，用技术来增强身体的诱惑已经很强了，比如，许多人会佩戴眼镜、助听器、心脏起搏器和义肢等，还有在血液中流淌的药物分子。一些年轻人似乎和他们的智能手机永久地黏在了一起，我太太也总是嘲笑我离不开我的笔记本电脑。

当今世界上，最著名的赛博格支持者莫过于雷·库兹韦尔了，他在《奇点临近》一书中说，这个趋势的自然延伸就是，使用纳米机器人和智能生物反馈系统等技术来取代我们的器官，先是在21世纪30年代早期取代消化系统、内分泌系统、血液和心脏，然后，在接下来的20年中，会对我们的骨骼、皮肤、大脑以及其他器官进行升级。库兹韦尔猜测，我们虽然很可能会保留对人体的审美体验和情感输入，但会重新设计它们，以便在现实世界和虚拟现实（使用新型的脑机接口）中随意改变外观。莫拉维克同意库兹韦尔的观点，即赛博格运动能做的远不止是改善我们的DNA：“一个经过了基因改造的超人只是一个二流的机器人，因为它的设计有一个障碍，那就是，它只能通过DNA引导的蛋白质合成来实现。”而且汉斯·莫拉维克认为，如果我们能完全消除肉体的限制，选择上传思想，在软件中创造出全脑模拟，那我们会做得更好。这种上传者可以生活在虚拟现实中，也可以附身在能走、能飞、能游泳、能在外太空旅行、能在物理定律允许的范围内做任何事情的机器人身上，而不用受到死亡或有限的认知资源等世俗担忧的影响。

尽管这些想法听起来像科幻小说，但它们并没有违反任何已知的物理定律。所以，最有趣的问题不在于它们能不能发生，而在于它们会不会发生；如果会，将在何时发生。一些著名的思想家猜测，第一个人类水平的通用人工智能将是一个上传者，这就是通往超级智能之路的起点⁽⁴⁰⁾。

然而，平心而论，在人工智能研究者和神经科学家中，只有少数人赞同这个观点。他们中的大多数人猜测，实现超级智能的最快途径并不是大脑仿真，而是用其他方法来进行工程设计，在这之后，我们对大脑仿真的兴趣可能还继续存在，也可能就此消失。毕竟，实现一项新技术最简单的途径不一定非得采取进化的方式，因为这会受到很多要求的限制，比如进化规定它必须能够自我装配、自我修复和自我繁殖。进化虽然在能源效率方面颇有成效，因为食物毕竟是有限的，但并不容易被人类工程师构建和理解。我的妻子梅亚常说，航空业并不是从机械鸟开始的。确实，我们一直到2011年才搞明白如何制造机器鸟^[1]，而早在100多年前，莱特兄弟就已经进行了第一次飞行实验。在这100多年期间，航空业的从业者根本没有兴趣研究如何将飞机变成可以扑腾翅膀的机器鸟，尽管鸟的能效确实很高。这是因为我们的早期解决方案看重的是，飞机更能满足我们的出行需求。

同样地，我认为在建造人类水平的智能机器方面，一定也有比进化更简单的方式。即便有一天，我们能够实现复制或上传智能，但在那之前，我们肯定能先发现一些更简单的方案。智能机器的功率可能会大于人脑的功率，也就是大于12W。不过，它的工程师不会像进化那样过于执迷于能效，毕竟他们很快就能用这些智能机器设计出能耗更低的机器。

实际上，会发生什么呢

对这个问题，一个简单的回答就是我们不知道答案。我们不知道如果人类成功地建造出了人类水平的通用人工智能，会发生什么事。出于这个原因，我们花了一整章的篇幅探索了形形色色的情形。我试着将各种各样的情况都包含进来，涵盖了我所见过或听过的人工智能研究者和技术专家的所有推测：快速起飞／缓慢起飞／压根儿不起飞，人／机器／赛博格，权力集中化／权力分散化，等等。有些人告诉我，他们确信这些情形不会发生。不过我认为，在这个阶段，谦卑一些，承认我们知之甚少，才是明智的选择。因为对于前文讨论过的每种情形，我都知道至少有一位备受尊敬的人工智能研究者认为这真的会发生。

随着时间的推移，我们在路上遇到了一些岔路口。接下来，我们将开始回答一些关键问题，并缩小选择范围。第一个大问题是：“我们会不会创造出人类水平的通用人工智能？”本章的前提是我们会，但有一些人工智能专家认为，这是永远不会发生的事情，至少在几百年内不会发生。只有时间才能回答这个问题！正如我前面所提到的，在我们的波多黎各会议上，约有一半的人工智能专家猜测，这会在2055年前发生。在我们两年后举行的后续会议上，这个预期已经提前到了2047年。

在任何人类水平的通用人工智能被造出来之前，我们可能会看到一些明显的迹象，暗示我们它的实现方式会是计算机工程、智能上传，还是一些没有预料到的新方法。目前，这个领域的主流方法是计算机工程。如果这种方法在几个世纪内都没能实现通用人工智能，那么，智能上传的概率就会增加，就像电影《超验骇客》中那样，虽然看起来非常不现实。

如果人类水平的通用人工智能实现的脚步更加近了，我们就能对下一个重要问题做出更有根据的猜测，这个问题就是：“它会快速起飞、缓慢起飞，还是压根不起飞？”正如我们前文所看到的那样，快速起飞会让人工智能更容易统治世界，而慢速起飞可能会带来很多竞争对手。尼克·波斯特洛姆将这个起飞速度的问题分解成两个问题，并分别称为优化力（optimization power）和抗性（recalcitrance）。优化力指的是让人工智能变得更聪明所需要的优质努力程度；抗性指的是取得进展的困难程度。在任务上花费的优化力越多，进步的平均速度就会显著提升；遇到的抗性越多，进步的平均速度就会降低。他经过论证得出，当通用人工智能达到并超越人类水平时，抗性可能会增加，也可能会减少，所以，对这两种可能性都未雨绸缪，才是安全的选择。然而，当通用人工智能超越人类水平时，优化力极有可能会迅速增长。我们在欧米茄团队的故事中已经看到了个中缘由：进一步优化所需要的东西并不来自人类，而是来自机器本身。所以，通用人工智能的能力越强，进步的速度也就越快，前提是抗性保持不变。

如果能力进步的速度与其当下的能力成一定的比例，那么，每隔一定的时间，能力就会翻倍。我们把这种增长叫作指数型增长，把这种过程形象地称为“爆炸”。比如，如果生育能力增长的速度与人口规模成比例，人口就会爆炸；如果能裂变为钚的中子的生成速度与这种中子的数量成比例增长，就会发生核爆炸；如果机器智能增长的速度与它当前的能力成比例，就会发生智能爆炸。这些爆炸的特征就是，它们爆炸的时间恰好是其能力翻倍的时间。如果智能爆炸翻倍的周期像在欧米茄团队的故事里讲的那样短至几个小时或几天，那就是一种快速起飞。

智能爆炸的时间尺度取决于改进人工智能需要的是新软件还是新硬件。如果只需要软件，那爆炸可能在几秒钟、几分钟或几小时内发生；如果需要的是新硬件，那可能要花几个月或几年的时间。在欧米茄团队的故事中，有一个明显的现象，用波斯特洛姆的专业术语来说就是“硬件过剩”（hardware overhang）：一开始，软件的质量并不高，欧米茄团队用大量的硬件弥补了原始软件的不足，这意味着普罗米修斯只需要改进它的软件，就可以实现多次的能力翻倍。互联网上的数据也有一个显著的特点叫作“内容过剩”（content overhang），这是因为，当普罗米修斯还处于1.0版本时，它还不够聪明，尚不能完全利用这些内容。但一旦普罗米修斯的智能增长到足够的程度，它进一步学习所需的数据就唾手可得，因为这些数据早已存在于互联网上。

运行人工智能的硬件和电力成本也很重要，因为如果机器以人类水平的智能工作的成本没有降到低于人类时薪之前，智能爆炸是不会发生的。比如，假设第一个人类水平的通用人工智能在亚马逊云计算平台上每完成一个小时的人类工作所花费的成本是100万美元，那么，这个通用人工智能具有很高的新颖价值，无疑将登上头条新闻，但它不会发生迭代式的自我改进，因为继续用人类来改进它会便宜得多。假设人类把每小时的成本逐渐削减到10万美元、1万美元、1 000美元、100美元、10美元，最后降到1美元，当用计算机来重新自我编程的成本降到远低于雇用程序员来做同样的事情所需支付的薪水时，程序员就会失业。通过购买云计算时间，优化力会极大增加。这又进一步削减了成本，带来了更多的优化力。智能爆炸就此开始。