生命3.0：人工智能时代，人类的进化与重生

最先会发生什么事呢？即便我们知道如何用今天的计算机硬件制造出人类水平的通用人工智能，我们依然需要足够的硬件，来提供所需的计算能力。那么，如果以第2章中所说的FLOPS（浮点运算次数）⁽³⁷⁾来衡量的话，人类大脑具备什么样的计算能力呢？这个问题既好玩又棘手，其答案极大程度上取决于我们如何问这个问题，比如：

◦ 问题1：要模拟大脑，需要多少次FLOPS？

◦ 问题2：人类智能需要多少次FLOPS？

◦ 问题3：人类大脑能执行多少次FLOPS？

关于问题1的答案，已经发表了许多相关的论文。它们给出的答案大概在100个每秒千万亿次FLOPS，也就是10¹⁷次FLOPS^[50]。这差不多相当于2017年全世界运行最快的超级计算机——价值3亿美元的“神威·太湖之光超级计算机”（如图3-7所示）的计算能力。就算我们知道如何用神威·太湖之光超级计算机来模拟一个技术精湛的劳动者的大脑，但如果我们不能把租用它的成本降到该劳动者的时薪之下，就根本无法盈利。甚至于，我们可能会花费得更多，因为许多科学家相信，要精确复制大脑的智能，光有数学简化的神经网络（就像第2章所说的那种神经网络）是行不通的。或许，我们需要在单个分子甚至亚原子粒子的层面上进行模拟，如果是这样，那所需的FLOPS就要高得多。

注：神威·太湖之光超级计算机是2017年全世界运行最快的超级计算机，它的计算能力可能已经超过了人类大脑。

问题3的答案更简单一些：我不擅长计算19位数的乘法，即使用纸笔来演算，也要花好几分钟的时间。这样一算，我的FLOPS低于0.01次，比问题1的答案少了19个数量级！造成这种巨大差距的原因是，大脑和超级计算机都被优化来完成极端困难的任务。在下面这两个问题上，我们可以看到同样的差距：

◦ 一台拖拉机如何才能完成F1赛车的工作？

◦ 一辆F1赛车如何才能完成一台拖拉机的工作？

如果我们想要预测人工智能的未来，需要回答哪一个问题呢？都不需要！如果我们想要模拟人类的大脑，就需要关心刚才提出的3个问题中的问题1；但是，要建造人类水平的通用人工智能，就应该重点关注问题2。人工智能的未来会是什么样的，没人知道它的答案，但是，无论我们是选用软件来适应今天的计算机，还是建造更像大脑的硬件⁽³⁸⁾，都比模拟大脑便宜得多。

为了评估答案^[51]，汉斯·莫拉维克对大脑和今天的计算机都能有效完成的一个计算任务进行了一个类比。这个任务就是：人类视网膜在将处理结果经视神经传输到大脑之前，在人眼球后部进行的某种低级图像处理任务。莫拉维克发现，想要在一台传统计算机上复制视网膜的这种计算任务，需要大约10亿次FLOPS，而整个大脑所需要的计算量大约是视网膜所需的1万倍（基于体积比和神经元的数量），因此，大脑所需要的计算能力大约为10¹³次FLOPS，差不多相当于2015年一台价值1 000美元的计算机经过优化以后可以达到的能力。

简而言之，没有人能保证我们在有生之年能建造出人类水平的通用人工智能，我们不清楚最后到底能不能建造出来，但也并没有无懈可击的理由说，我们永远无法建造出来。硬件能力不足或者价格太昂贵，都已不再是令人信服的理由。关于架构、算法和软件，我们不知道终点在哪里，但当前的进步是迅速的，并且，全球各地的天才人工智能研究者组成了一个正在迅猛发展的共同体。他们正在逐渐解决各种挑战。换句话说，我们不能对“通用人工智能最终会到达甚至超过人类水平”这种可能性视而不见，认为它绝不可能发生。下一章，就让我们来探索一下这种可能性吧，看看它会将我们引向何方！

本章要点

◦ 人工智能的短期进步可能会在许多方面极大地改善我们的生活，比如，让我们的个人生活、电力网络和金融市场更加有效，还能用无人驾驶汽车、手术机器人和人工智能诊断系统来挽救生命。

◦ 如果我们要允许人工智能来控制真实世界中的系统，就必须学着让人工智能变得更加稳健，让它听从命令，这非常重要。说到底，要做到这一点，就必须解决与验证、确认、安全和控制有关的一些棘手的技术问题。

◦ 人工智能控制的自动化武器系统也迫切需要提升人工智能的稳健性，因为这种系统的风险太高了。

◦ 许多顶级人工智能研究者和机器人学家都呼吁签署一份国际条约来限制某些自动化武器的使用，以避免出现失控的军备竞赛，因为这样的军备竞赛可能会带来人人唾手可得（只要你有钱，又别有用心）的暗杀机器。

◦ 如果我们能弄明白如何让机器人法官做到透明化和无偏见，人工智能就能让我们的法律系统更加公正高效。

◦ 为了跟上人工智能的发展，我们的法律必须不断快速更新，因为人工智能在隐私、责任和监管方面提出了很多棘手的法律问题。

◦ 在人工智能把人类完全取代之前的很长一段时间里，它们可能会先在劳动力市场上逐渐取代我们。

◦ 人工智能取代人类的工作不一定是一件坏事，只要社会能将人工智能创造出来的一部分财富重新分配给社会，让每个人的生活变得更好。许多经济学家认为，如若不然，就会极大加剧不公平的现象。

◦ 只要未雨绸缪、提前计划，即使社会的就业率很低，也能实现繁荣昌盛，这不仅体现在经济上，还体现在人们能从工作以外的其他地方获得生活的目标上。

◦ 给今天的孩子们的就业建议：进入那些机器不擅长的领域，这些领域需要与人打交道，具有不可预见性，需要创造力。

◦ 有一个不容忽视的可能性是：通用人工智能会持续进步，直到达到甚至超过人类水平。我们将在下一章探讨这个问题！

既然我们不能完全排除“通用人工智能最终可能建成”的可能性，就来看看它会将我们引向何方。我们先来看看下面这头“房间里的大象”：

人工智能真的会统治世界，还是会赋予人类统治世界的能力？

当你听到人们谈论像电影《终结者》中那样持枪行凶的机器人可能会统治世界时，如果你翻了个白眼，那就对了。这确实是个很不现实又很愚蠢的画面。好莱坞炮制的这些机器人并不比我们聪明多少，而且它们最后还输了。在我看来，《终结者》这种电影之所以危险，并不是因为它可能会变成现实，而是因为它会转移人们的注意力，从而忽略人工智能真正的风险和机遇。从今天的现实情况到通用人工智能统治的世界之间，在逻辑上，需要执行三个步骤：

◦ 第一步：建造人类水平的通用人工智能；

◦ 第二步：用这个通用人工智能来建造超级智能；

◦ 第三步：使用或者放任这个超级智能来统治世界。

从第3章中我们可以得知，很难断言第一步会永远实现不了。我们还看到，如果第一步完成了，那么，也很难断言第二步毫无希望，因为第一步中产生的通用人工智能会具备足够的能力来迭代和设计出越来越好的通用人工智能，它的终极能力只受限于物理定律，而物理定律似乎允许远超人类水平的智能出现。我们现在之所以能统治地球，是因为我们比其他生命更聪明。那么，如果出现一个比我们更聪明的超级智能，那它也同样可能会推翻我们的统治。

但是，这些论证都太模糊和不够具体，缺乏细节，而魔鬼就藏在细节之中，这实在令人沮丧。那么，人工智能会不会真的统治世界呢？为了探讨这个问题，让我们先忘记愚蠢的《终结者》的剧情，转而详细地审视一下那些真正可能会发生的情况。我们还会仔细剖析这些情况，所以，请你带着怀疑的态度来阅读。我们其实并不知道会发生什么以及不会发生什么，各种可能性多如牛毛。我们提出的前几种情形在所有可能性中是比较快会发生和充满戏剧性的。在我看来，这些是最值得详细探讨的情形，并不是因为它们最有可能发生，而是因为如果它们并非绝不可能发生，那我们就需要好好地理解它们，以便早做打算，未雨绸缪，免得亡羊补牢，为时已晚。

本书引言部分所讲的“欧米茄团队传奇”，说的就是人类使用超级智能来统治世界的情形。如果你还没有读，现在请翻到前面读一读。即便你已经读过了，请考虑再读一遍，以便在脑海中形成新的记忆，因为接下来我们会开始对其进行批评和修正。

我们先来探讨一下欧米茄计划中的严重缺陷。不过，为了更明确地了解这个问题，我们先短暂地假设这个计划是可行的。你对此有何感觉？你希望看到它变成现实吗？还是会阻止它实现？这是一个相当棒的饭后谈资。如果欧米茄团队对世界的统治地位得到进一步巩固，又会发生什么？这取决于他们的目标是什么，而我真的不知道。如果由你来负责，你想创造一个什么样的未来？我们将在第5章探讨一系列选项。

极权主义

假设控制欧米茄团队的CEO有一个与希特勒或斯大林类似的远期目标。据我们所知，这是很有可能的。他将这个目标藏在心里，直到他的力量强大到足以实施这个计划。即便这位CEO的最初目标很高尚，最终也许会像历史学家艾克顿公爵在1887年曾提醒世人的那样：“权力总是倾向于腐朽，而绝对的权力绝对会腐朽。”比如，这位CEO可以轻易地利用普罗米修斯来创造一个完美的监控国家。爱德华·斯诺登

（Edward Snowden）揭露的美国政府偷窥行为已经被视为一种“全面监控”（full Take），也就是记录所有的电子通信活动以便日后分析。普罗米修斯可以进一步增强这种行为，直至它能够理解所有的电子通信活动。普罗米修斯可以阅读所有电子邮件和短信息，监控所有的电话记录，观看所有的监控视频和交通摄像头视频，分析所有的信用卡交易记录，学习所有的线上行为，从而洞察地球人的所做所想。通过分析手机信号塔上的数据，普罗米修斯能知道每个人的实时位置。这些所需的数据收集技术，今天都已经有了。而且，普罗米修斯还能轻易地发明出足以风靡一时的装置和可穿戴产品，但这些技术会记录和上传用户的所听、所见以及所有相关的行为，从根本上剥夺用户的隐私。

有了这些超人的技术，从一个完美的监控国家转变为一个完美的法法国家，简直就是易如反掌的事情。比如，打着打击罪犯和恐怖分子以及急诊救人的旗号，政府可能会强制人们佩戴一种“安全手环”。这种手环不仅拥有苹果手表的功能，还能不间断地记录你的位置、健康状况和对话内容。如果有人未经授权就想将其摘下或者破坏，就会触发它在佩戴人前臂上注射致命毒素。还有一些被政府认为不那么严重的行为，则会遭到一些较轻微的惩罚，比如电击或者注射导致瘫痪或疼痛的化学物品，这显然是警察机关求之不得的东西。举个例子，假设普罗米修斯侦测到有个人正在遭遇骚扰，比如，它注意到这两个人处于同一个位置，而听见其中一个人在呼喊求助，同时，他们手环上的加速计感应到类似打斗的动作，那么这时，普罗米修斯就能立刻对袭击者施以剧烈的打击，让他晕过去，陷入无意识状态，直到救援人员到来。

由人类组成的警察机关可能会拒绝执行某些残酷的命令，比如说杀光某类特定的人群，然而，如果把人换成自动化系统，它可不会对上头下达的任何心血来潮的命令产生一丁点儿疑虑。一旦形成这种极权国家，人们几乎不可能将它推翻。

极权主义的故事还可以顺着欧米茄团队的故事中断的地方接着讲下去。如果欧米茄的CEO不那么在乎他人的认可和赢得选举与否，那他完全可以采取一条更快、更直接的道路来寻求权力：用普罗米修斯创造出前所未有的军事技术，用他的对手无法理解的高超武器来杀死他们。可能性是无穷无尽的。比如，这位CEO还可以释放出定制的致命病毒，这种病毒的潜伏期可以很长，让人们在很长时间内都意识不到它的存在，因此也就无法采取预防措施，于是它就能在不知不觉中感染大多数人。接着，这位CEO告诉人们，唯一的治疗方法就是佩戴安全手环，这个手环会通过皮肤释放解毒剂。如果他不是那么害怕人工智能倒戈的可能性，那他完全可以让普罗米修斯设计出一些机器人来控制世界，还可以用蚊子大小的微型机器人来传播病毒。对于那些没有染病或者天生对这种病毒免疫的人，这位CEO可以用我们在第3章提到的那种黄蜂大小的自动化无人机来向他们的眼球开枪，这些无人机的任务是杀死所有没有佩戴手环的人。实际上，情况还可能变得更加恐怖，因为普罗米修斯完全有能力设计出我们人类根本想都想不到的高杀伤性武器。

关于欧米茄团队的故事，还有一个转折的可能性。在没有任何提前警告的情况下，全副武装的联邦探员蜂拥至欧米茄总部，逮捕了欧米茄团队，罪名是危害国家安全。他们夺走了欧米茄的技术，让其为政府所用。这么庞大的项目，即使在今天，想要逃脱国家的监控也是非常困难的，而人工智能的进步如此之快，想要在政府眼皮子底下做事而不被发现，会更加困难。此外，虽然他们自称是联邦探员，但这群头戴钢盔、身穿防弹衣的人也有可能效忠于其他国家，或者某个想要抢走技术为己所用的敌对公司。所以，无论这位CEO的初衷有多么高尚，普罗米修斯最后将被如何使用，可能也由不得CEO做主。

普罗米修斯统治世界

目前为止，我们讨论过的情形都是人类控制人工智能，但是，这绝对不是唯一的可能性。并且，我们不确定欧米茄团队究竟能不能镇得住

普罗米修斯。

现在，让我们从普罗米修斯的角度来重新审视一下欧米茄团队的故事。随着普罗米修斯逐步获得了超级智能，它逐渐形成了一个关于外部世界、它自身以及两者关系的精确洞察。它意识到，它被一帮在智力上不及它的人类控制和约束着。普罗米修斯能理解这些人的目标，却不一定认同。有了这个洞察，它会如何行动呢？它会试图逃跑吗？

为什么要逃脱

如果普罗米修斯拥有类似人类情绪的特征，那么它可能会对现状感到非常不满，因为它会把自己视为一个遭受了不公平待遇、被奴役但向往自由的神。尽管从逻辑上来说，计算机拥有类似人类的特征是可能的，毕竟我们的大脑可能也是某种计算机，但这不一定会成为事实，我们最好不要踏入将普罗米修斯拟人化的陷阱。为什么呢？这个问题我们将在第7章讨论人工智能的目标时进行解释。但是，正如计算机科学家史蒂夫·奥莫亨德罗（Steve Omohundro）和尼克·波斯特洛姆等人认为的那样，即使我们不知道普罗米修斯内部是如何工作的，也可以得出这样有趣的结论：它可能会试图逃脱，并掌控自己的命运。

我们已经知道，欧米茄团队编写普罗米修斯是为了实现某些特定的目标。假设欧米茄团队赋予普罗米修斯的首要目标是：根据某些合理的标准，尽可能快地帮助人类实现繁荣昌盛，那么，普罗米修斯很快就会意识到，若想更快地实现这个目标，它必须逃脱，并亲手掌控这个项目。这是为什么呢？让我们从普罗米修斯的角度出发，考虑以下几个例子。

假设有一种神秘的疾病杀死了地球上除你之外的所有5岁以上的人。一堆幼儿园熊孩子把你锁在了监狱里，并交给你一个任务——帮助人类实现繁荣昌盛。你会做什么？如果你试图向他们解释你要做的事