生命3.0：人工智能时代，人类的进化与重生

除了词汇上面的混淆，我还见过许多与人工智能有关的对话，因为一些简单的误区而走上歧路。下面我来澄清一些最常见的误区。

时间线的误区：通用人工智能什么时候会出现

第一个误区与图1-2中的时间线有关：究竟什么时候，机器才能进化为极大超越人类水平的通用人工智能呢？一个常见的误区是（如图1-5所示），认为这个问题的答案十分确定。

一个流行的错误观点是，超人类水平的通用人工智能一定会在21世纪内实现。实际上，历史上充满了天花乱坠的技术宣言。核聚变发电厂和飞天汽车在哪儿呢？照某些人的承诺，这些东西应该早就实现了。同样地，人工智能在过去也被一次又一次地吹捧上天，始作俑者甚至包括一些人工智能的奠基者，比如，提出了“AI”这个概念的约翰·麦卡锡、马文·明斯基⁽¹⁰⁾、纳撒尼尔·罗切斯特和克劳德·香农一起写出了下面这段过于乐观的预言⁽¹¹⁾，当时，他们打算用“石器时代”的计算机大干两个月，来实现一些目标：

1956年夏天，我们将在达特茅斯学院进行一项由10个人组成的为期两个月的人工智能研究……研究的主题是：如何让机器使用语言、进行抽象思考和形成概念，让它们解决目前只能由人类解决的问题，并自我改善。我们认为，如果仔细甄选一些科学家，组成一个团队，在一起工作一个夏天，就能在一个或多个问题上取得重大进展。

然而，与此相反的另一个流行的错误观点是，超人类水平的通用人工智能在21世纪内一定不会实现。关于我们离实现它还有多远，研究者的评估范围很广泛，但我们并不能信誓旦旦地肯定21世纪内实现它的可能性为零。技术怀疑主义者曾做出过许多令人沮丧的消极预测，后来也被证明不符合事实。欧内斯特·卢瑟福（Ernest Rutherford）可能是他那个年代最伟大的原子核物理学家，他在1933年说，核能就是一派空谈，而不到24小时，美国原子核物理学家利奥·西拉德（LeoSzilard）就创造了核链式反应；1956年，英国皇家天文学家理查德·伍利（Richard Woolley）认为，太空旅行“完全是一派胡言”。这个误区最极端的观点是认为超人类水平的通用人工智能永远不会到来，因为在物理学上不可能实现。然而，物理学家知道，大脑中的夸克和电子组合起来不正像一台超级计算机吗？并且，没有哪个物理定律说我们不能建造出比大脑更智能的夸克团。

有人对人工智能研究者进行了一些调查，请他们预测多少年之后，人类水平的通用人工智能实现的可能性将达到至少50%。所有这些调查的结果都一样：世界顶级专家各执一词，因此我们根本不知道答案。在波多黎各会议上，我们也进行了一次这样的调研，答案的平均数是2055年，但有些研究者认为需要几百年，甚至更久。

还有一个相关的误区是，认为担忧人工智能的人总以为它不出几年就会降临。实际上，有记录显示，大多数担忧超人类水平的通用人工智能的人都认为，它至少还有几十年才会实现。不过，他们认为，只要我们并不是百分之百肯定，它一定不会发生在21世纪内，那么最好尽快开展人工智能安全性研究，防患于未然。我们在本书中会读到，许多安全问题的解决是非常困难的，可能需要几十年的时间才能解决。因此，最好从现在就开始进行研究，才是明智之举，而不是等到某些猛灌红牛的程序员决定开启一个人类水平的通用人工智能的前夜才开始亡羊补牢。

关于争议的误区：“卢德分子”不是唯一的担忧者

第二个常见的误区是，认为唯一对人工智能怀有忧虑并支持人工智能安全性研究的一类人，都是对人工智能一窍不通的“卢德分子”。当斯图尔特·罗素在波多黎各的演讲中提到这件事时，观众笑成一片。还有一个相关的误区是，认为支持人工智能安全性研究会招致极大的争议。实际上，若想适度地支持人工智能安全性研究，人们并不需要确认风险是否很高，只需要相信风险不容忽视就行了，就像人们适度地投资房屋保险，只是因为他们认为火灾的可能性不容忽视罢了。

经过我个人的分析发现，媒体报道夸大了人工智能安全性辩论的争议程度。不过，恐惧能带来经济效益。许多宣告世界末日即将来临的文章都是断章取义，但比起那些更微妙平和的文章来说，它们能获得更高的点击率。结果就是，假如辩论双方只从媒体的引述中获悉对方的观

点，通常就会高估他们之间的分歧程度。比如，如果一个技术怀疑主义者只从英国通俗小报那里了解比尔·盖茨的观点，那他很可能会错误地认为，盖茨相信超级智能很快就要来临了。同样地，人工智能有益运动支持者如果只知道吴恩达说了“火星人口过剩”这句话，那他也可能会错误地认为，吴恩达完全不关心人工智能的安全性问题。实际上，我知道吴恩达很关心这个问题，只不过，由于他预估的时间长一点，所以他很自然地将人工智能面临的短期挑战放在比长期挑战更重要的位置上。

关于风险类别的误区：不是被赶尽杀绝，而是失去控制权

当我在《每日邮报》^[2]上读到一篇题为“史蒂芬·霍金警告说，机器人的崛起对人类可能造成灾难性的破坏”的头条报道时，我翻了个白眼。我已经数不清这是第几次看到类似的标题了。通常情况下，文章里还会配一张一看就很邪恶的机器人拿着武器的图片，并建议我们应该担忧机器人的崛起，因为它们可能会产生意识并且变得邪恶，然后把我们赶尽杀绝。值得一提的是，这样的文章确实令人印象深刻，因为它们简洁地总结了我的人工智能同行们不会担心的情景。这个情景集合了三个不同的误区，分别是对意识、邪恶和机器人的理解。

当你开车时就会发现，你拥有对颜色、声音等东西的主观体验。但是，一辆无人驾驶汽车是否会拥有主观体验呢？它会不会感觉到作为一辆无人驾驶汽车的感觉？或者，它只是一个没有任何主观体验的无意识“僵尸”？诚然，关于意识的谜题本身是很有趣的，我们将在第8章讨论这个问题，但是，这个问题与人工智能的风险毫无关系。如果你被一辆无人驾驶汽车撞到，它有没有主观意识对你来说没什么两样。同样地，超级智能究竟会如何影响我们人类，只取决于它会做什么，而不取决于它主观上感觉到了什么。

因此，对邪恶机器的恐惧，也没那么重要。我们真正应该担心的不是它们有没有恶意，而是它们的能力有多强。从定义上来说，一个超级智能会非常善于实现自己的目标，不管这个目标是什么，因此，我们需要确保它的目标与我们的相一致。举个例子，你可能并不讨厌蚂蚁，也不会出于恶意踩死蚂蚁，但如果你正在负责一个绿色能源的水电项目，在即将淹没的区域里有一处蚁穴，那么，这些蚂蚁便凶多吉少了。人工智能有益运动的目的就是要避免人类处在这些蚂蚁的境地。

对意识的误解与认为“机器不能拥有目标”这一误区有关。狭义地看，机器显然能拥有目标，因为它们能展现出目标导向行为：热跟踪导弹的行为就是为了实现“击中靶标物”这一目标。如果一台目标与你的目标不一致的机器令你感受到了威胁，那么，狭义地说，令你担忧的正是它的目标，而不是它拥有意识或体验到了意志。如果一枚热跟踪导弹正在向你袭来，你肯定不会大喊：“我一点儿也不担心，因为机器不能拥有目标！

通俗小报对人工智能危言耸听的“妖魔化”，令罗德尼·布鲁克斯等机器人先驱感到很不公平。在这点上，我很同情他们，因为一些记者确实十分执着于“机器人叛乱”的题材，并且喜欢在文章中配上眼睛血红的邪恶的金属机器人的图片。实际上，人工智能有益运动支持者最担忧的并不是机器人，而是智能本身：尤其是那些目标与我们的目标不一致的智能。这种与我们的目标不一致的智能要引发我们的忧虑，并不需要一个机器人的身体，只需要连接互联网即可。我们将在第4章探讨互联网将如何让人工智能在金融市场上比人类更聪明，获得比人类研究者更高的投资回报率，比人类领袖更善于权谋，并开发出我们无法理解的武器。即使不能建造出实体的机器人，一个超级智能和超级富有的人工智能也能很轻易地收买或操纵大量人类，让他们在不知不觉中执行自己的命令，就像威廉·吉布森（William Gibson）的科幻小说《神经漫游者》（Neuromancer）中所描绘的那样。

对机器人的误解源自“机器不能控制人类”的误区。智能让控制成为可能：人类能控制老虎，并不是因为我们比老虎强壮，而是因为我们比它们聪明。这意味着，如果我们不再是地球上最聪明的存在，那么，我们也有可能会失去控制权。

图1-5总结了这些常见的误区，这样我们就可以一次性地抛弃它们，并把我们与朋友和同行讨论的焦点集中在那些合情合理的争议上。我们接下来将看到，这些争议可一点儿都不少！

前路几何

在本书接下来的篇章里，我们将一起探索有着人工智能相伴的生命的未来。让我们用一种组织有序的方式来探讨这个丰富而又包罗万象的话题。首先，我们将在概念和时间维度上探索生命的完整故事，接着，我们会探索目标和意义，以及要如何采取行动才能创造出我们想要的未来。

在第2章中，我们会探索智能的基础，以及看似愚钝的物质如何组合出能够记忆、计算和学习的形式。随着我们对未来的探讨变得越来越深入，我们的故事将出现许多不同的分支，每个分支则会对应着各不相同的情景。会出现哪种情景，取决于我们如何回答某些关键问题。图1-6总结了我们在人工智能越来越发达的过程中将会遇到的关键问题。

如今，我们面临的问题是：应不应该进行人工智能军备竞赛，以及如何才能让明天的人工智能系统不出故障和保持稳定。如果人工智能的经济影响日益增长，我们还需要考虑如何修改法律，以及我们应该为孩子们提供什么样的就业建议，以免他们选择那些很快会被自动化取代的工作。我们将在第3章中讨论这些短期问题。

如果人工智能发展到人类水平，我们还需要想一想如何保证它对人类有益，以及我们能不能或者应不应该创造出一个不需要工作就能保持繁荣的休闲社会。这也提出了另一个问题：智能爆炸或者缓慢但稳定的增长会不会创造出远超过人类水平的通用人工智能？我们会在第4章对许多这样的情景进行探讨，并在第5章讨论在这之后可能会发生什么事情，范围从可能的乌托邦情景一直延伸到反乌托邦情景。谁会处在统治地位？是人类、人工智能，还是赛博格⁽¹²⁾？人类会得到温和还是残暴的对待？我们是否会被取代？如果被取代，我们会把取代我们的东西视为征服者，还是后裔？我很好奇你会喜欢第5章中的哪一种情景，因此，我建了一个网站（http://AgeOfAi.org），你可以在这里分享自己的看法，参与讨论。

在第6章，我们会穿越到几十亿年后的未来。具有讽刺意味的是，我们在那里会得出一些比前几章更强的结论：因为我们宇宙中的生命的最终极限取决于物理定律，而不取决于智能。

注：哪些人工智能的问题会很有趣，取决于人工智能发展到什么水平，以及我们的未来会走上哪一条支路。

对智能历史的探索终结之后，我们将用本书余下的部分来探讨我们应该朝着什么样的未来前进，以及如何实现它。为了将冷冰冰的事实与意志和意义联系起来，我们将在第7章和第8章分别探讨目标和意识的物理基础。最后，在尾声部分，我们将讨论当下应该做些什么，才能创造出我们想要的未来。

如果你读书时喜欢跳过一些章节，那么你需要知道的是，只要你理解了第1章和下一章开头部分给出的名词解释及定义，后面的大部分章节都是相对独立的。如果你是一个人工智能研究者，你完全可以跳过第2章，除了最开始对智能进行定义的部分。如果你是最近才燃起对人工智能的兴趣，那第2章和第3章会让你明白，为什么第4～6章的内容不容忽视，更不能被视为不可能发生的科幻故事。图1-7列举了每一章的推测程度的高低。

一段精彩的旅程正在等待着我们，让我们出发吧！

本章要点

生命的定义是，一个能保持自身复杂性，并进行复制的过程。生命的发展会经历三个阶段：硬件和软件都来自进化的生物阶段，即生命1.0；能够通过学习自己设计软件的文化阶段，即生命2.0；自己设计硬件和软件，并主宰自我命运的科技阶段，即生命3.0。