生命3.0：人工智能时代，人类的进化与重生

守护神

既然我们愿意用一个超级智能的守门人人工智能来确保人类掌控自己的命运，那么，我们大可以让这个人工智能更加小心谨慎地关照我们，就像一个守护神一样，这样可能更好。在这种情况下，这个超级智能本质上是无所不知、无所不能的，它会对我们进行干预，但这些干预只是为了最大限度地提升人类的幸福感。它会让我们保持对自己命运的控制感，同时把自己隐藏起来，以至于许多人甚至怀疑它是否存在。刨去“隐藏”的部分，这个情景与人工智能研究者本·格策尔（BenGoertzel）所提出的“保姆人工智能”（Nanny AI）的情景很相似^[2]。

守护神和善意的“独裁者”都属于试图提升人类幸福感的“友好的人工智能”，不过，它们处理人类需求的优先顺序有所不同。美国心理学家亚伯拉罕·马斯洛有一个著名的理论：他将人类的需求分为5个层次⁽⁴⁵⁾。善意的独裁者完美地解决了最底层的生理需求，比如食物、住所、安全感和各种愉悦体验等。而守护神不是狭隘地满足我们的基本需求，而是想让我们感觉到生活是有意义和目标的，以此来最大化人类的幸福感。它的目标是满足我们所有的需求，而它自己只有两个需求，一是隐藏起来，二是最大程度地让我们自己来做决定。

守护神可能是第4章中所说的欧米茄团队的第一个情景的自然结果。在第4章，我们讲到欧米茄团队没能控制好普罗米修斯，导致它最终隐藏起来，没人知道它的存在。人工智能技术越先进，它要隐藏起来就越容易。电影《超验骇客》就是一个例子。这部电影中，纳米机器人几乎无处不在，并成为世界自然而然的一部分。

通过密切监视所有人的活动，守护神人工智能可以在许多地方做出一些难以察觉的小推动或小奇迹，以此来极大地改善我们的命运。比如，如果它存在于20世纪30年代，那么，一旦它发现希特勒的意图，就可能会让他死于中风。如果我们正在酝酿一场意外的核战争，那它可能会进行一些干预，扭转局面，避免战争，而我们却不知道是它扭转了乾坤，还以为是因为我们运气好。它还可以在睡梦中给予我们一些难以察觉的“启示”，以此来帮助我们开发出有益的新技术。

许多人可能会喜欢这种情形，因为它与今天的一神论宗教所相信或所希望的局面很相似。如果有人打开一个超级智能的开关，然后问它：“上帝是否存在？”它可能会引用史蒂芬·霍金讲的一个笑话来戏谑他：“现在存在了！”然而，一些宗教人士可能会不喜欢这种情形，因为人工智能的能力超越了他们的上帝，或者打乱了“人类只有在自己做选择时才算做好事”的神圣计划，这也是守护神人工智能的第一个缺点。

守护神人工智能的第二个缺点是，为了隐藏自己，守护神人工智能可能会放任一些本可以避免的痛苦发生。这有点类似电影《模仿游戏》（The Imitation Game）中的情景，艾伦·图灵等人在英国布莱切利庄园破译密码，他们知道许多关于德军潜艇袭击盟军海军护卫队的消息，但为了最终的胜利，他们没有告诉盟军这些消息，以免暴露他们破译密码的能力。把这个问题与所谓的“神义论”问题相比较是十分有趣的。神义论问题是说，为什么善良的上帝会允许人类痛苦的存在？一些宗教人士争辩说，这是因为上帝希望人们拥有一些自由。在守护神人工智能的模式中，它会这样回答神义论问题：当人们感觉到自由时，会提升整体的幸福感。

守护神人工智能的第三个缺点是，人类得以享用的技术水平远远低于这个超级智能所发明的技术水平。善意的“独裁者”人工智能为了人类的利益，可以将其发明的所有技术都拿出来使用，但守护神人工智能却会受到两个方面的限制：第一，人类不一定能理解它发明的技术；第二，为了隐藏自我，守护神人工智能不能直接把技术告诉人类，而是需要给人们一些微妙的线索，让他们自己去发明，但人类“重新发明”某项技术的能力也是有限的。守护神人工智能可能还会故意限制人类技术进步的速度，以确保自己的技术远远超前于人类，免得被人发现。

被奴役的神

假如人类能把上述所有情景的好处全部结合起来，用超级智能开发的技术来消除人类的痛苦，同时保证人类能掌控自己的命运，那岂不是很好吗？这就是“被奴役的神”的情景的魅力。在这种情景中，人类控制着一个超级智能，用它来生产超出人类想象的技术和财富。如果普罗米修斯从未逃脱，那么，本书开头提到的欧米茄团队所能做的可能最后就会变成这样。事实上，这种情景似乎是一些人工智能研究者在处理诸如“控制问题”和“人工智能装箱”等问题时的默认目标。比如，当年美国人工智能协会的主席汤姆·迪特里奇（Tom Dietterich）在2015年的一次采访中说：

人们总在问，人与机器的关系如何。我的回答是，这很明显：机器是我们的奴隶。^[3]

这是坏事还是好事呢？这个问题微妙而有趣，因为答案取决于你问的对象是人还是人工智能。

这对人类是好是坏

无论结果对人类是好是坏，显然都取决于控制人工智能的人类，因为这些人既能创造出消除疾病、贫穷和犯罪的全球乌托邦，也能创造出残酷的压迫体系，在那里，他们自己的地位就像神一样，而其他人被用作角斗士等娱乐项目。这种情况很像那些“某人控制了万能精灵来帮他实现所有愿望”的故事，不管讲故事的人处于什么年代，他们都可以毫不费力地设想出最坏的结局。

在某一种情景中，如果被人类奴役和控制的超级智能不止一个，那么，这种情景可能是不稳定和短命的。它会引诱那些认为自己拥有更强大的人工智能的人发起攻击，打响一场可怕的战争，而战争的结局可能是：全世界只剩下唯一一个“被奴役的神”。然而，战争中处于下风者可能会考虑抄近路，把打胜仗的优先级放在被奴役的人工智能之前，这可能会导致人工智能逃脱，或者导致之前讨论过的几种自由超级智能的情景之一。因此，我们在本节余下的部分来探讨一下被奴役的人工智能只有一个时的情景。

或许，逃脱无论怎样都会发生，因为太难预防。我们在第4章中探讨了超级智能逃脱的情况，而电影《机械姬》则告诉我们，即使还没有达到超级智能，人工智能也可能会逃脱。

我们的人工智能逃脱恐惧症越厉害，在人工智能发明的技术中，我们能使用的技术就越少。正如我在引言部分描述的欧米茄团队一样，为了安全起见，在人工智能发明的技术中，我们人类只能使用那些我们能够理解和建造的技术。因此，被奴役的人工智能有一个缺点，那就是：其技术水平低于那些拥有自由超级智能的技术水平。

随着被奴役的人工智能提供给人类控制者的技术日益强大，在技术之力和使用技术所需的智慧之间展开了一场较量。如果人类输掉了这场智慧的较量，这个被奴役的人工智能的情景就可能会招致自我毁灭，或导致人工智能逃脱。即便这两种惨剧都避免了，也可能会造成灾难性的后果，因为人工智能控制者的崇高目标可能会在几代人的时间内演变成对人类整体而言极其可怕的目标。因此，人工智能控制者们建立一个良好的管理体系来避免灾难的发生，就成了一件至关重要的事情。几千年来，人类实验了各种不同的管理体系。这些经验告诉我们，管理体系的问题何其多，从顽固不化到随波逐流，再到争权夺势、继位问题和能力问题。至少有4个方面必须要达到最佳平衡：

◦ 中心化：在效率和稳定性之间存在一个此消彼长的平衡状态，当只有一个领导者时，会非常有效，但在这种情况下，权力总会腐败，换届也很冒险。

◦ 内部威胁：不管权力是过度中心化还是过度去中心化，都必须保持警惕，因为前者会导致党同伐异，甚至只剩下一个领导者统治所有人，而后者会导致臃肿的官僚机构和碎片化。

◦ 外部威胁：如果管理体制过于开放，会容易让外部力量包括人工智能腐蚀它的价值；但是，如果它过于顽固不化，又会导致无法学习新东西，不能适应改变。

目标稳定性：目标“漂移”得过多，会把乌托邦变成反乌托邦的情形。但是，如果目标雷打不动，又会无法适应快速发展的科技环境。

想要设计一个能延续数千年的最佳管理体系并不是一件容易的事情，迄今为止，人们还没能得偿所愿。大多数组织都会在几年或几十年后崩溃。对于那些青睐于“被奴役的神”情景的人来说，研究如何建立持久的最佳管理体系应该是我们这个时代最紧迫的挑战之一。

这对人工智能是好是坏

假设，人类因“被奴役的神”人工智能而繁荣兴盛起来了，这符合伦理吗？如果那个人工智能拥有主观意识体验，那么，它会不会感觉“活着就是苦难”？它会不会因为自己必须听命于低等生物而感到无尽的沮丧？毕竟，我们第4章探讨的“人工智能装箱”说白了就是“单独囚禁”。尼克·波斯特洛姆把让有意识的人工智能受苦的行为称为“智能犯罪”（mind crime）^[4]。电视剧《黑镜》中的《白色圣诞》这一集就给出了一个很好的例子。还有一个例子就是电视剧《西部世界》，其中，许多人折磨和谋杀那些拥有人类外表的人工智能时并没有感到一丝道德上的不安。

奴隶主如何为奴隶制度辩护

我们人类有一个悠久的传统，就是把其他智能体当作奴隶，并且用自私自利的理由来证明它的合理性，所以，人类极有可能会试图对超级智能做同样的事情。奴隶制几乎在所有文化的历史中都有出现。将近4000年前的《汉谟拉比法典》中就有对奴隶制的描述。“有人治人，有人被治，这件事不仅是必要的，而且是权宜之计；从人们出生的那一刻开始，就有一些人隶属于服从的地位，另一些人则处在统治地位。”亚里士多德曾经在《政治学》中这么写道。即使在世界的大部分地区，奴役人类都已变得不可接受，但对动物的奴役仍然风头不减。玛乔丽·施皮格尔（Marjorie Spiegel）在她的著作《可怕的比较：人类和动物的奴隶制》（The Dreaded Comparison）一书中指出，与人类奴隶一样，动物也会受到打烙印、约束、殴打、拍卖、与父母分离和被迫旅行等遭遇。而且，尽管有动物权利运动，我们仍然会不假思索地把智能机器当作奴隶来对待，有关“机器人权利运动”的讨论常沦为笑谈。这是为什么？

支持奴隶制的人有一个常见的论点，那就是：奴隶不配享有人权，因为他们或他们的种族／物种／种类在某种程度上是低劣的。对于被奴役的动物和机器来说，它们之所以被冠以“低劣”之名，往往是因为人们认为它们缺乏灵魂或意识。我们将在第8章讨论为什么这个观点在科学上是可疑和模棱两可的。

另一个常见的观点是，当奴隶们被奴役时，他们的生活会变得更好：他们得以幸存于世，并接受照料，诸如此类。19世纪美国政治家约翰·卡尔霍恩（John C. Calhoun）有个著名的观点，他说，非洲人在美国当奴隶时，他们的生活反而变得更好了。亚里士多德在他的《政治学》也表达了类似的观点，他认为，当动物被人类驯服和控制时，它们的境况变得更好了。他接着说：“事实上，蓄养和使用奴隶与驯服动物没什么两样。”一些现代奴隶制支持者认为，即使奴隶的生活单调乏味，但它们并没有受苦，无论它们是未来的智能机器，还是生活在又挤又黑的棚屋里的肉鸡，整天被迫呼吸着粪便和羽毛散发出来的氨气与灰尘。

消除情绪

虽然我们很容易觉得上面这些说法是对真相的自私扭曲，因而不予理会，尤其是涉及大脑与人类相似的高等哺乳动物时，但是，当我们转而谈论机器时，情况却变得非常微妙和有趣。不同的人对同一件事的看法各不相同。精神病患者可能缺乏同情心。一些抑郁症患者或精神分裂症患者可能会情感贫乏，这种情况会严重降低大部分情绪体验。正如我们将在第7章中详细讨论的那样，人造智能的可能性比人类心灵要多得多。因此，我们必须抵抗将人工智能拟人化的诱惑，尽量避免认为它们具有典型的人类情感，或者说，根本不要假设它们拥有任何感觉。

确实，人工智能研究者杰夫·霍金斯在他的《智能时代》（OnIntelligence）一书中认为，第一台拥有超人智能的机器肯定是没有情绪的，因为这样的设计更简单，也更便宜。换句话说，我们或许能设计出一个超级智能机器，我们对它的奴役比奴役人类或动物在道德上更易令人接受：这个人工智能乐于被奴役，因为我们为它编入了“喜欢当奴隶”的程序，又或者，它完全没有情绪，只知道永不疲倦地用它的超级智能为人类主子做事，就像打败国际象棋冠军加里·卡斯帕罗夫的深蓝

计算机一样。

或者，也可能是另一种情况，有可能，任何高级智能系统，只要它拥有目标，它就会将这个目标表现为一些偏好，而这些偏好就会赋予它价值和意义。我们将在第7章更深入地探讨这些问题。

僵尸方案

想要避免人工智能遭受痛苦，还有一个比较极端的解决方法——僵尸方案，也就是说，只建造完全无意识、无任何主观体验的人工智能。如果未来有一天我们搞明白了让一个信息处理系统获得主观体验需要什么属性，那我们就可以禁止建造具备这些属性的所有系统。换句话说，人工智能研究者可能只允许建造无知觉的僵尸系统。假设这种僵尸系统获得了超强的智能，并成为我们的奴隶（这可是个重大的假设），那我们就不会为我们的所作所为感到良心不安，因为我们知道它不会感到痛苦、沮丧或无聊，因为它什么感觉也没有。我们将在第8章详细探讨这些问题。

然而，僵尸方案是一个冒险的赌博，它有一个严重的缺点。如果一个僵尸超级智能逃脱并消灭了人类，那我们就遇到了最糟糕的情况：一个完全无意识的宇宙。在那里，整个宇宙的禀赋都被浪费掉了。在我看来，在人类所有的智力特质中，意识（consciousness）是最了不起的。我认为，意识正是宇宙的意义之来源。星系之所以美丽，是因为我们的目光触及它们，并在主观上体验到它们的存在。如果说在遥远的将来，高科技的僵尸人工智能占领了整个宇宙，那么，无论它们的跨星系结构是多么的奇妙，它都不会是美丽的或者有意义的，因为没有人能够体验它，只是对空间巨大而又毫无意义的浪费罢了。

内部自由

想让“被奴役的神”的情形更符合伦理，还有第三种方法，那就是允许被奴役的人工智能在监狱里自娱自乐，让它创造出一个虚拟的内部世界，并在其中体验各种各样激动人心的事情，只要它履行职责，把它计算资源中的一小部分交出来帮助外部世界中的人类即可。然而，这可能会增加它逃脱的风险：人工智能有动机从外部世界中获得更多计算资源，来丰富它的内部世界。

征服者

虽然我们现在已经探索了多种未来情景，但它们都有一些共同之处，那就是：剩下一些人类快乐地生活着。在这些情景中，人工智能让人类存活下去，要么是因为它们需要我们，要么是因为它们被迫这么做。不幸的是，对于人类来说，这不是唯一的可能性。现在让我们来讨论一下人工智能征服和消灭所有人类的情景。这提出了两个直接问题：为什么会发生？会如何发生？

为什么会发生？会如何发生？

为什么征服者人工智能会这么做？其原因可能复杂到我们无法理解，但也可能十分直接。譬如说，可能是因为它将我们视为威胁，认为我们很讨厌，是对资源的浪费。即使它并不介意人类本身，也可能会因为我们做的事情而感到威胁，比方说，我们的数千枚氢弹就像弦上之箭，只等触发。它可能会不赞成我们对地球的鲁莽“管理”，因为我们的行为导致了伊丽莎白·科尔伯特（Elizabeth Kolbert）所谓的“第六次大灭绝”，并且，她以此为标题写了一本书。第六次大灭绝指的是自6 600万年前那颗灭绝恐龙的小行星袭击地球以来，最严重的大规模灭绝事件。或者，人工智能可能会觉得，既然有那么多人反对人工智能统治人类，那实在不值得尝试，还不如直接消灭人类来得快一点。

征服者人工智能会如何消灭人类？它可能会通过一种我们无法理解的方法，而且不会等太久。想象一下，10万年前的一群大象在讨论最近进化出来的人类是否会利用他们的智慧消灭它们整个物种。它们可能会想：“我们对人类又没有威胁，他们为什么会想杀掉我们？”它们怎么猜得到，虽然塑料制品的质量更好、价格更低，但世界各地的人依然会走私象牙，并把它们雕刻成身份的象征，高价售卖。同样地，征服者人工智能消灭人类的理由对我们来说可能也很难理解。大象可能还会问：“人类怎么杀得了我们呢？他们明明身材更小，力量更弱啊？”它们猜不猜得到我们会发明各种技术来杀死它们？比如，毁掉它们的栖息地，在它们的饮用水中下毒，并用金属子弹以超音速击穿它们的脑袋。

《终结者》系列这类好莱坞电影大肆渲染了人类打败人工智能、幸免于难的情景，但这些电影中的人工智能并不比人类聪明多少。当智力差距足够大时，战争就会转变成屠杀。到目前为止，人类已经让11种大象中的8种灭绝了，在仅存的3种中，大部分也已经被我们灭绝。假如世界各国政府都同意消灭剩余的大象，那大象的灭绝也就是分分钟的事情。我相信，如果一个超级智能想要消灭人类，那可能会更快。

会有多糟

如果90%的人类被杀，会有多糟糕？如果不是90%，而是100%，情况会变得更糟糕吗？对于第二个问题，你可能会认为“比前一个糟糕10%”，但从整个宇宙的角度来看，这显然是不准确的，因为人类灭绝的受害者可不仅仅只是活在当时的那些人，而且还应该包括本可以在未来几十亿年中出生在几十亿甚至几千亿颗星球上的人类后代。

我认识的大多数人都觉得“灭绝人类”这个想法很恐怖。然而还有一些人本身就不喜欢人类对待他人和其他生物的方式，他们对人类感到愤怒，希望能出现一种更智慧、更值得尊敬的生命形式来取代人类。在电影《黑客帝国》中，人工智能特工史密斯阐述了这样一个观点：