人工智能时代：破解人机共存密码（套装共10册）

我们的活动被组织成具有几十个抽象级别的复杂层次结构。这些层次和它们所包含的动作是我们文明的关键组成部分，通过我们的语言和实践代代相传。例如，捕捉野猪、申请签证和购买机票等动作可能涉及数以百万计的原始动作，但我们可以将它们视为一个单元，因为它们已经在我们的语言和文化提供的“动作库”中，而且我们（大致）知道如何去做。

一旦它们进入了“动作库”，我们就可以把这些高层次的动作串联成更高层次的动作，比如在夏至举行部落宴会，或者在尼泊尔偏远地区进行夏季考古研究。试图从最低一级的运动控制步骤开始计划这样的活动是完全没有希望实现的，因为这样的活动涉及多达亿万个步骤，其中许多步骤是非常不可预测的。（例如在哪里可以找到野猪，它会朝哪个方向跑？）相反，因为在“动作库”中有合适的高级动作，所以人们只需要计划十几个步骤，每个步骤都是整个活动的很大一部分。这是我们脆弱的人类大脑也能做到的一件事，这给了我们进行长期规划的“超级力量”。

曾几何时，这些动作并不存在，例如，你要想在1910年获得乘飞机旅行的权利，就需要经过漫长、复杂且不可预测的研究、写信以及同各种各样的新兴航空公司谈判的过程。最近添加到“动作库”中的其他动作包括收发电子邮件、使用谷歌和优步。正如阿尔弗雷德·诺斯·怀特黑德（Alfred North Whitehead）在1911年所写的那样：“文明的进步是通过增加那些我们无须思考就能完成的重要动作来实_现的。”^[48]

索尔·斯坦伯格（Saul Steinberg）为《纽约客》绘制的著名封面（图6）以空间的形式精彩地展示了一个智能体如何管理自己的未来。对我来说，不久之后的未来是非常具体的，事实上，我的大脑已经“加载”了特定的运动控制序列来输入接下来的几个单词。再往未来看一点，细节就少了，我的计划是写完这一小节，吃午饭，再写点东西，然后观看世界杯决赛法国队和克罗地亚队的比赛。再往后，我的计划更大，但更模糊：8月初从巴黎搬回伯克利，教授一门研究生课程，然后写完这本书。随着时间的推移，未来越来越接近现在，计划变得越来越详细。而新的、模糊的计划可能会添加到遥远的未来之中。不久之后的未来计划会变得非常具体，可以由运动控制系统直接执行。

目前，对于人工智能系统，我们只有整体图景的某些部分。如果提供了抽象动作的层次结构——包括如何将每个抽象动作细化为由更具体的动作组成的子计划的知识，那么我们就有了可以构建复杂计划以实现特定目标的算法。有些算法可以执行抽象的、层次化的计划，其方式是让智能体始终保持一个原始的物理动作“准备好了”，即便未来的动作仍然是抽象的并且还不能执行。

要解决这个难题，首先要找到构建抽象动作层次结构的方法。例如，一个机器人完全从零开始，它只知道自己可以向各种马达输出各种电流，我们能否让它自己发现站立起来的动作？重要的是理解动作，我并不是在问我们是否可以训练一个机器人站立起来，这只需要通过应用强化学习，对机器人的头部远离地面进行奖励就可以实现。^[49]训练机器人站立起来需要人类训练师知道站立起来的意义，这样才能定义正确的奖励信号。我们想要的是让机器人自己发现站立起来是一种有用的抽象动作，即一种实现行走、跑步、握手或翻墙的先决条件（直立），从而形成用来达成各种目标的许多抽象计划的一部分。同样，我们希望机器人能够发现各种动作（比如从一个地方移动到另一个地方、捡东西、开门、打结、做饭、找钥匙、盖房子），以及其他许多人类语言中没有名称的动作，因为我们人类还没有发现它们。

我相信这种能力是达到人类水平的人工智能所需要的最重要的一步。再次借用怀特黑德的话说，这将增加那些我们无须思考就能完成的重要行动。世界各地的许多研究小组都在努力解决这个问题。例如，DeepMind在2018年的一篇论文中写道，人工智能在《雷神之锤3》的夺旗模式中展示出了与人类相当的水平。该论文声称，他们的学习系统“以一种新颖的方式构建了时间的分层表征空间，以促进……在时间上连贯的动作序列”。^[50]（我不完全确定这意味着什么，但听起来确实像是发明新的高层次动作的目标取得了进展。）我怀疑我们还没有完整的答案，但这是一种随时可能发生的进步，我们只需要把一些现有的想法以正确的方式组合在一起即可。

具有这种能力的智能机器将会比人类看得更远。它们还可以考虑更多的信息。这两种能力的结合必然会让智能机器做出更好的现实决策。在人类与机器之间的一切对抗中，我们都会很快发现，就像加里·卡斯帕罗夫和李世石一样，我们的每一步行动都被机器预料到了，并被阻挠了。比赛还没开始，我们就输了。

管理精神活动

如果管理现实世界中的活动看起来很复杂，那就想想你可怜的大脑吧，管理这个“已知宇宙中最复杂的物体”的活动会是什么样子。我们一开始并不知道如何思考，就像我们一开始不知道如何走路或弹钢琴一样。我们学习如何去做这些事情。在某种程度上，我们可以选择想什么。（例如，想想多汁的汉堡或保加利亚的海关规定。）在某些方面，我们的精神活动比我们在现实世界中的活动更复杂，因为我们的大脑比我们的身体有更多的活动部分，而且这些部分的活动速度要快得多。计算机也是如此：AlphaGo在围棋棋盘上每走一步棋，都会执行亿万个计算单元，其中每个计算单元都涉及将一个分支添加到前向搜索树中，并评估该分支末尾的棋局。而且这一过程在每个计算单元中都会发生，因为程序可以选择下一步要探索搜索树的哪一部分。AlphaGo会相对精准地选择它所预计的将会改善它在棋盘上的最终决定的计算。

人们可以设计出一种合理的方案来管理AlphaGo的计算活动，因为该活动简单且同质化：每个计算单元都是相同的。与使用相同基本计算单元的其他程序相比，AlphaGo可能相当高效，但与其他类型的程序相比，它可能效率极低。例如，AlphaGo在2016年划时代的比赛中对战人类对手李世石，李世石每走一步棋的计算量可能只有几千个计算单元，但他拥有更灵活的计算体系结构，有更多种类的计算单位：将棋盘分成各个子赛局，并试图解决各个子赛局之间的相互作用；认识到可能达到的目标，并制订高层次的计划，采取“保持这组棋子不要被对手包围”或“阻止对手把两组棋连起来”的行动；思考如何实现某个特定的目标，比如“保持这组棋子不要被对手包围”，并排除所有无法解决这一重大威胁的着法。

我们只是不知道如何组织如此复杂和多样的计算活动，即如何整合并构建每个计算活动的结果，以及如何将计算资源分配给各种审议活动，以便尽快找到好的决策。然而很明显，像AlphaGo这样简单的计算架构不可能在现实世界中奏效，在现实世界中，我们通常需要处理的决策范围不是几十个原始步骤，而是数十亿个原始步骤，而且任何时候可能采取的动作几乎都是无限的。重要的是要记住，现实世界中的智能体并不局限于下围棋，甚至不局限于找到一把钥匙——智能体就是生命。它接下来可以做任何事情，但它可能没有能力去把它可能做的所有事情全都考虑周全。

如果一个系统既能发现新的高级动作（如前所述），又能管理它的计算活动，从而将注意力集中在计算单元上，快速地显著提高决策质量，那么它将成为现实世界中一个强大的决策者。像人类一样，它的审议“在认知上是有效的”，但它不会受到短暂的短期记忆和缓慢的“硬件”的影响，人脑的这些局限性严重限制了我们展望未来、处理大量突发事件和考虑大量替代计划的能力。

还缺少什么？

如果我们把我们知道的关于处理这一章中列出的所有潜在的新发展的方法整合到一起，会有用吗？由此产生的系统会有什么表现？它将穿越时间，吸收大量信息，并通过大规模观察和推理来了解世界的状态。它将逐步改进它的世界模型（当然包括人类模型），并使用这些模型来解决复杂的问题，还会封装和反复使用其解决过程来提高审议效率，解决更复杂的问题。它会发现新的概念和动作，这会让它提高发现率。它还会在越来越长的时间跨度上制订有效的计划。

总而言之，从有效地实现其目标的系统角度来看，目前并没有明显的重要内容被遗漏。当然，唯一可以确定的方法就是先构建它，然后（在取得了突破之后）看看会发生什么。

想象一台超级智能机器

在讨论超级人工智能的性质和影响时，技术界遭遇了想象力上的失败。我们经常看到关于减少医疗事故^[51]、更安全的汽车^[52]，以及其他增量性质的进步的讨论。机器人往往被想象成携带大脑的个体实体，而事实上，它们很可能无线连接成一个单一的全球实体，该实体需要大量固定的计算资源。研究人员似乎害怕成功地研究出人工智能后，可能产生的真正后果。

根据假设，通用智能系统可以做任何人能做的事情。例如，一些人做了大量的数学工作、算法设计、编码和实证研究，推出了现代搜索引擎。所有搜索结果都非常有用，当然也非常有经济价值。这些结果究竟有多值钱呢？最近的一项研究显示，在接受调查的美国成年人中，你至少需要支付给他们每人1.75万美元才能让他们一年内放弃使用搜索引擎，^[53]换算后，搜索引擎的全球价值高达数万亿美元。

现在请你想象一下，搜索引擎还不存在，因为历经几十年的必要工作还没有完成，但你可以访问一个超级人工智能系统。你只需提出问题，就可以通过人工智能系统使用搜索引擎技术。搞定了！获得数万亿美元的价值，你只需向它提问，没有一行额外的代码是你写的。这同样适用于任何其他缺失的发明或一系列发明：如果人类可以做到，那么机器也可以做到。

最后一点为超级智能机器的能力提供了一个有用的下限，即一个悲观的估计。根据假设，机器比个人更有能力。有许多事情是一个人做不到的，n个人合作却可以做到，例如把宇航员送上月球，创造引力波探测器，给人类基因组测序，管理一个拥有数亿人口的国家。因此，粗略地讲，我们创建机器的n个软件副本，并且用与连接n个人相同的方式（使用相同的信息和控制流）来连接它们。现在我们有了一台机器，它可以做n个人能做的任何事情，而且只会做得更好，因为它的n个组成部分都是超人。

智能系统的这种多智能体合作设计只是机器的可能能力的下限，因为还有其他更好的设计。在n个人组成的集合中，所有可用的信息分别保存在n个人的大脑中，他们之间的交流非常缓慢且不完美。这就是为什么人类把大部分时间花在开会上。机器不需要这种分隔，分隔通常会阻碍各个点之间的连接。作为科学发现互相分隔的一个例子，简单地了解一下青霉素的悠久历史会让人大开眼界。^[54]

拓展想象力的另一个有用方法是对某种特定形式的感官输入进行思考——比如阅读，并将其放大。人类可以在一周内阅读并理解一本书，而机器可以在几个小时内阅读并理解人类写过的全部1.5亿本书。这需要相当强的处理能力，但机器基本上可以并行阅读这些书，这意味着只需添加更多的芯片，机器就可以扩大其阅读范围。同理，这台机器还可以通过卫星、机器人和数亿个监控摄像头同时看到一切，观看世界上所有的电视节目，收听世界上所有的广播电台和电话交谈。很快，它就能对这个世界及其居民有更详细、更准确的了解，这是任何人类都不可能做到的事情。

人们还可以想象拓展机器的行动能力。人类只能直接控制一个身体，而机器可以控制成千上万个机体。一些自动化工厂已经表现出这种特点。例如，在工厂外，一台控制着数千个灵巧机器人的机器可以建造大量的房屋，每间房屋都是根据未来居住者的需要和愿望量身定制的。在实验室里，现有的用于科学研究的机器人系统可以扩大规模，同时进行数百万个实验——也许是为了创建完整的直至分子水平的人体生物学预测模型。请注意，机器的推理能力将使它具有更强的能力来检测科学理论之间、理论与观测之间的不一致。我们可能已经有了足够的生物学实验证据来设计治疗癌症的方法，只不过我们还没有把它们整合在一起。

在网络领域，机器已经可以访问数十亿个效应器，即世界上所有的电话和计算机上的显示器。这在一定程度上解释了IT公司用极少的员工创造巨大财富的能力，还表明了人类通过屏幕进行操作存在严重的安全隐患。

另一种不同的拓展来自机器拥有比人类更准确的展望未来的能力。我们已经在国际象棋和围棋中看到了这一点。凭借在长时间跨度上生成和分析分层计划的能力，以及识别新的抽象动作和高级描述性模型的能力，机器将把这种优势转移到数学（证明新的、有用的定理）和现实世界中的决策制定等领域。在发生环境灾难时，疏散大城市人口的任务将会变得相对简单，机器可以为每个人和每辆车生成单独的指导，以最大限度地减少人员伤亡。

在制定防止全球变暖的政策时，机器可能会费一番工夫。地球系统建模需要利用物理学（大气、海洋），化学（碳循环、土壤），生物学（分解、迁移），工程学（可再生能源、碳捕获），经济学（工业、能源利用），人性（愚蠢、贪婪）和政治学（更愚蠢、更贪婪）的知识。如前所述，机器将能够获得大量的证据来支持所有这些模型。它能够建议或进行新的实验和探索，以减少不可避免的不确定性，例如，探索浅海中天然气水合物的真实储量。它能够考虑一系列可能的策略建议，例如法律、推广、市场、发明和地球工程的干预措施，但当然，它也需要找到说服我们赞同它的方法。

超级智能的局限

当你发挥想象力的时候，请不要太漫无边际。一个常见的错误是人们倾向于认为超级人工智能系统拥有无所不知的神圣力量——不仅拥有现在的，而且拥有未来的完整和完美的知识。^[55]这令人难以置信，因为这需要一种非人的能力来确定当前世界的确切状态，以及用一种人类无法实现的能力来模拟一个包括机器本身在内的世界的运行（更不用说，这个世界中还有数十亿个人类大脑，大脑仍然是宇宙中第二复杂的物体），这种模拟的速度比实时模拟还要快得多。

这并不是说以合理的确定度预测未来的某些方面是不可能的。例如，尽管混沌理论的学者坚持认为有蝴蝶效应之类的东西，但是我知道一年后我将会在伯克利的哪间教室里教什么课。（反过来，我不认为人类能够按照物理定律精准地预测未来！）预测成功与否取决于是否有正确的抽象，例如，我可以预测“我”将在4月的最后一个星期二在伯克利校园的惠勒礼堂上台演讲，但我无法预测自己精确到毫米的位置，也无法预测那时我的身体中将包含哪些碳原子。

机器还受到现实世界对新知识获取速度的限制，这是凯文·凯利（Kevin Kelly）在关于超人类人工智能的过度简化预测的文章中提出的有效观点之一。^[56]例如，为了确定一种特定的药物是否能治愈试验动物体内的某种癌症，人类科学家或机器科学家有两种选择：一是给动物注射药物并等待数周，二是进行足够精确的模拟。然而，运行模拟需要大量的生物学经验知识，其中一些知识目前尚不具备。因此，必须先进行更多的建模实验。毫无疑问，这需要时间，而且必须在现实世界中完成。

机器科学家可以让大量建模实验并行，将它们的结果整合到一个内部一致（尽管非常复杂）的模型中，并且将模型的预测与生物学已知的全部实验数据进行比较。模拟该模型并不一定需要对整个生物体进行量子力学模拟，直至单个分子反应的水平，如凯利所言，这要比在现实世界中做实验花费更多的时间。正如我可以有一定的把握预测未来4月的星期二自己会在哪里一样，生物系统的特性也可以用抽象模型精确预测。（其中一个原因是，生物利用基于总反馈回路的“鲁棒控制系统”运行，所以初始条件的微小变化通常不会导致结果出现大变化。）因此，虽然在经验科学中，由机器瞬间产生科学发现是不可能的，但我们可以期待，在机器的帮助下，科学的发展速度将会更快。事实上，情况已经如此了。