生命3.0：人工智能时代，人类的进化与重生

深度强化学习主体

2014年，我有过一次“下巴掉地上”的吃惊经历。我看了这样一段视频：视频中，DeepMind公司的人工智能学会了玩电脑游戏。它玩的是《打砖块》（如图3-1所示）。《打砖块》是雅达利的一款经典游戏，我在十几岁的时候很喜欢玩。这款游戏的目标是，通过操纵一个平板，让小球在砖墙上弹跳，小球每碰到一个砖块，该砖块就会消失，分数就会相应增长。

注：DeepMind公司的人工智能从头学习了如何玩雅达利游戏《打砖块》，为了使游戏分数最大化，它利用深度强化学习发现了最优策略，那就是，在砖块的最左边钻出一条通道，然后让小球在上面弹来弹去，这样会迅速得分。在图中，我用箭头表示小球和平板的运动路径。

我曾写过一些电脑游戏，所以我知道，写一个会玩《打砖块》的程序并不是一件多么难的事情。但是，这并不是DeepMind公司所做的事情。相反，他们创造了一个完全没有游戏知识的人工智能，它一点儿也不了解这个游戏，也不知道其他任何游戏，甚至不知道游戏、平板、砖块和小球这些概念是什么意思。DeepMind公司创造的人工智能只知道一长串数字会以固定的周期输入，包括当前的分数和一串数字。在我们人类眼里，这串数字描述的是屏幕上不同区域的颜色，但在人工智能眼中则不然。人们只告诉人工智能，它必须以固定的周期输出一些数字，从而将分数最大化。在我们人类眼里，这些数字描述的是要按下哪些按键，但在人工智能系统“眼”中则不然。

起初，人工智能玩得糟透了，它毫无头绪地把平板推来推去，几乎没有一次能接住小球。过了一会儿，它似乎发现，把平板向小球的方向移动，是个不错的方法，不过大多数时候，它依然接不住小球。不过，随着不断的练习，人工智能玩得越来越好，甚至比我玩得还好。无论小球的速度有多快，它每次都能精确地接住小球。不久以后，我就更吃惊了，它自己找出了这个神奇的“分数最大化”策略：只要把小球弹到左上角，在那里钻出一个通道，让小球钻进这个通道，然后，小球就会暂时卡在墙上方，在墙和边界之间来回弹动。这个人工智能真是太聪明了。实际上，丹米斯·哈萨比斯后来告诉我，DeepMind公司的程序员自己都不知道这个技巧，他们还是从自己创造的人工智能那里学到了这一招。我建议你们去看一下这个视频，我在书后给出了视频的链接。 [1]

这个视频里的人工智能有一个和人类很相似的特征，让我觉得很不安：它不仅拥有目标，还通过学习了解了如何日臻完善这个目标，最终竟然超过了它的创造者。在第1章，我们对智能下了一个简单的定义：完成复杂目标的能力。所以，从这个定义出发，DeepMind公司的人工智能确实在我们眼皮底下变得越来越智能了，虽然它的智能很狭窄，只会玩某种特定的游戏。在第1章，我们曾经遇到过一个概念，也就是计算机科学家所谓的“智能体”（intelligent agents），这种主体用感应部件收集关于环境的信息，然后对这些信息进行处理，以决定如何对环境做出反应。虽然DeepMind公司的人工智能生活在一个极端简单，只由砖块、平板和小球组成的虚拟世界中，但毋庸置疑，它是一个智能体。

DeepMind公司很快就公布了设计这个人工智能的方法，向全世界分享了代码^[2]，并解释说，这个人工智能用了一个非常简单但十分强大的方法，叫作“深度强化学习”（deep reinforcement learning）。

基础的强化学习是一种经典的机器学习技术，受行为心理学的启发发展而来。行为心理学认为，如果你做某件事时总是受到积极的奖赏，那么你做这件事的意愿就会增强；反之亦然。正如奖励小狗零食能鼓励它们很快学会一些小把戏一样，DeepMind公司的人工智能学会了移动平板接住小球，因为这会增加它的得分概率。DeepMind公司将这个思想与深度学习结合起来，训练出了一个深度神经网络（正如第1章所说），以此来预测按下键盘上每个键的平均得分；接着，根据游戏的当前状态，人工智能会选择按下神经网络给分最高的那个键。

身为人类，我的个人价值来自许多方面。当我列出这些方面时，我把“有能力解决广泛的未解问题”也囊括了进去。相比之下，如果DeepMind公司的这个人工智能除了《打砖块》游戏之外什么也不会，那它就是一种极其狭窄的智能。对我来说，DeepMind公司这个突破的重大意义就在于，证明了深度强化学习是一项相当通用的技术。正如我所料，DeepMind公司让同一个人工智能练习了49款雅达利的游戏，在其中的29款游戏上，它玩得比人类好，包括《乒乓》（Pong）、《拳击》（Boxing）、《电子弹珠台》（Video Pinball）和《太空侵略者》（Space Invaders）。

没过多久，人们就证明并得出以下结论，具备同样原理的人工智能不仅可以玩二维游戏，还能玩一些更加现代的三维游戏。很快，DeepMind公司的竞争者、位于旧金山的人工智能非营利性组织OpenAI公司就发布了一个叫作“Universe”的训练平台，在其上，DeepMind公司的人工智能和其他智能体可以练习如何与计算机像玩游戏那样交互，它们会到处点来点去，随便打打字，随意打开和运行一些它们能够应付的软件，比如打开一个浏览器，在网上随意闲逛。

展望未来，深度强化学习大有可为。它们的潜力并不局限在虚拟的游戏世界中，因为如果你是一个机器人，“生活”本身就可以被看作一场游戏。斯图尔特·罗素告诉我，他的第一次惊讶时刻发生在他观看大狗机器人（Big Dog）奔跑在一片积雪覆盖的林间斜坡上时，因为它优雅地解决了罗素多年来一直试图解决的步行式问题（leggedlocomotion problem）。这个里程碑式的突破是在2008年出现的，它是聪明绝顶的程序员们日夜奋战的结果。然而，在DeepMind公司的突破之后，我们再也没有理由说，倘若没有人类程序员的帮助，机器人就一定不会用深度强化学习来教会自己走路，它需要的只是一个只要有进步就会给它加分的系统。同样地，物理世界中的机器人也有潜力学习游泳、飞行、玩乒乓球、打仗等，它们能完成数不清的运动任务，而这些任务都不需要人类程序员的帮助。为了加快速度和降低学习过程中动弹不得或自毁的风险，它们第一阶段的学习可以在虚拟世界中进行。

挑战直觉、创造力和战略

对我来说，还有一个决定性的时刻，那就是，DeepMind公司的人工智能AlphaGo在一场五局围棋中，战胜了被公认为21世纪初期全世界最顶尖的围棋棋手——李世石（如图3-2所示）。

注：DeepMind公司的AlphaGo在第5行走出了富有创意的一步，挑战了几千年的人类智慧。50步之后，事实证明，正是这一招决定了它将战胜围棋界的传奇人物李世石。

许多人都曾预计，围棋棋手一定会在某个时刻败给人工智能，毕竟象棋棋手在20年前就经历了这一失败。但大多数围棋高手都预测，这件事还需要10年才会发生，所以，AlphaGo的胜利对他们来说，就像对我一样，是一个重要的时刻。尼克·波斯特洛姆和雷·库兹韦尔都强调过，亲眼目睹人工智能的突破是一件很难接受的事情，这从李世石在输掉三局比赛之前和之后接受的采访中可见一斑。

2015年10月：基于它所展现出来的水平……我想我胜券在握。

2016年2月：虽然我听说DeepMind公司的人工智能强得惊人，并且正变得越来越强，但我还是很有信心，至少这次我一定会赢。

2016年3月9日：我非常惊讶，因为我没想到我会输。

2016年3月10日：我十分无语……我被震惊了。我得承认……接下来的第三局比赛对我来说不会很容易。

2016年3月12日：我感觉有点无力。

在战胜李世石后的一年内，一个更加强大的AlphaGo与全世界最顶尖的20位棋手对弈，没有一次失败。

为什么DeepMind公司在人工智能上取得的突破对我来说如此重要呢？事实上，我将“直觉”和“创造力”视为人类的两个核心特征。现在，我要向你解释，为什么我在前文中说，AlphaGo展现出了这两种特征。

围棋棋手在下棋时，是在一张19×19的棋盘上（如图3-2所示）交替放下黑子和白子。围棋棋局的可能性很多，多到超过了我们宇宙中的原子总数。也就是说，如果你想分析所有可能的棋局序列，很快就会绝望。所以，在很大程度上，棋手都是依赖潜意识的直觉来完成有意识的推理的。围棋专家都练就了一种近乎神秘的本领，可以感觉到棋盘上哪些位置赢棋的概率大，哪些位置赢棋的概率小。正如我们在第2章看到的，深度学习的结果有时很像直觉，比如，一个深度神经网络可能会断定某张图片里有一只猫，但它却无法解释原因。因此，DeepMind公司人工智能研究团队在这个原理上打赌，深度学习不仅能识别猫，还能识别围棋棋盘上哪些位置赢棋的概率大。他们在AlphaGo中构建的核心思想就是，将深度学习的直觉和GOFAI⁽²⁹⁾的逻辑结合起来。

DeepMind公司人工智能研究团队使用了一个庞大的围棋棋局数据库，这个数据库不仅包括人类下的棋局，还包括AlphaGo和自己对弈的棋局。通过这个数据库，他们训练了一个深度神经网络，来预测白子落在每一格的最终获胜概率。该团队还训练了另一个不同的神经网络，来预测下一步的可能性。接着，他们将这些神经网络与一个能在被删减过的可能性棋局列表中进行精确搜索的GOFAI的逻辑方法结合起来，来决定下一步把棋子放在哪里，好一路奔向最有可能获胜的位置。

这种将直觉和逻辑结合起来得出的棋着，不仅十分强大，有时还具有高度的创造性。比如，几千年的围棋技艺规定，在棋局的早期，最好将棋子放在从边缘起数的第3行或第4行的位置。不过，应该放在这两个位置中的哪一个上，还需要权衡：放在第3行能帮助棋手短暂赢得棋盘一侧的地盘，而放在第4行则能影响棋盘中心区域的长期策略。

在第二场棋局的第37步，AlphaGo震惊了整个围棋界，因为它落子在第5行（如图3-2所示），这违背了从古至今的传统。看起来，它似乎在长期策略上比人类表现得更加有信心，因此它更青睐长期策略而不是短期地盘。评论员惊呆了，李世石甚至站起来，短暂地离开了房间。当然了，50步之后，左下角的战火蔓延开，正好与第37步时布下的那颗黑子连起来了！正是这个方法，让它最终赢得了比赛，铸就了AlphaGo的五连胜，并成为围棋历史上最具创造力的“棋手”。

由于对直觉和创造力的严重依赖，围棋常被看作一门艺术，而不仅是一种棋类游戏。围棋属于中国古代的“四艺”，也就是琴、棋、书、画中的一种，至今依然在亚洲地区非常流行。AlphaGo与李世石的对弈有超过3亿人在观看。结果震惊了围棋界，他们把AlphaGo的胜利视为人类历史上一个影响深远的里程碑。当时世界上排名第一位的围棋棋手柯洁这样评论道：

人类千年的实战演练进化，计算机却告诉我们，人类全都是错的……我觉得，甚至没有一个人沾到围棋真理的边。我们棋手将会结合计算机，迈进全新的领域，达到全新的境界。

这种富有成效的人机协作方式，确实在许多领域（包括科学）充满希望。在这些领域，人工智能有望帮助我们加深理解，发挥人类的终极潜力。

2017年年底，DeepMind团队又发布了AlphaGo的后续版本—AlphaZero。AlphaZero完全忽略了几千年以来人类积累的围棋智慧，包括几百万盘棋局，它从零开始自己学习。AlphaZero不仅击败了AlphaGo，还通过同自己对弈练成了世界上最强大的象棋棋手。在短短两个小时的训练后，它打败了最厉害的人类棋手；四个小时之后，它战胜了世界上最好的象棋程序——Stockfish。最令我印象深刻的是，它不仅打败了人类棋手，还打败了人类的人工智能程序员，让他们耗费几十年精力手工开发出来的人工智能软件变得过时了。换句话说，“用人工智能创造出更好的人工智能”这个思想是不容忽视的。

我认为，AlphaGo还教给了我们另外一件事情，那就是：将深度学习的直觉与GOFAI的逻辑结合起来，能够创造出首屈一指的战略。围棋被视为终极的战略游戏，由此看来，人工智能已经准备好“毕

业”了，准备在棋盘之外的广阔天地里挑战或帮助最优秀的人类战略家，比如，投资战略、政治战略和军事战略等。这些真实世界的战略问题通常会因为人类的心理问题、信息不全以及模型中的随机因素等问题而变得十分复杂，但扑克人工智能已经证明，这些挑战都不是无法克服的。

进步神速的自然语言处理

最近还有一个人工智能方面的进展也令我非常震惊，那就是语言上的进展。我年轻时非常喜欢旅游，对其他国家的文化很感兴趣，而且我认为，语言构成了我个性中很重要的一部分。我小时候一直说瑞典语和英语，在学校里又学习了德语和西班牙语，在我的两段婚姻中，又学习了葡萄牙语和罗马尼亚语，还为了好玩自学了一点俄语、法语和汉语。请看下面这段话：

但人工智能正在到达，而在2016年的重要发现之后，几乎没有懒惰的语言，我可以比通过谷歌的脑子的设备开发的人工智能更好地翻译。

你觉得这段话清楚吗？其实，我想说的是：

但人工智能一直在追赶着我，而在2016年的重大突破之后，几乎没有什么语言我能比谷歌大脑团队开发的人工智能翻译得更好。

第一段话我是用几年前安装在笔记本电脑上的一个翻译软件先将其翻译成西班牙语，再翻译回英语。但在2016年，谷歌大脑（GoogleBrain）团队对免费的“谷歌翻译服务”进行了升级，开始使用深度递归神经网络，与老旧的GOFAI系统相比简直突飞猛进^[3]。下面就是谷歌

但人工智能一直在追赶我，而在2016年的重大突破之后，几乎没有什么语言可以比谷歌大脑团队开发的人工智能翻译得更好。

你可以看到，从西班牙语绕了一圈的翻译中，代词“我”消失了，让句子的意思发生了一些改变，虽然很接近，但还是差了那么点儿意思。不过，我要为谷歌的人工智能辩护一下，经常有人批评我喜欢写毫无必要的长句子，长句子本来就很难用语法进行分析，而我又正好挑选了最拐弯抹角、最容易令人迷惑的一句作为例子。对于普通句子，谷歌的人工智能通常能翻译得无可挑剔。因此，它一经问世便掀起了轩然大波。谷歌翻译非常有用，每天都有上亿人在使用。此外，由于有了深度学习，近期，语音与文字之间的相互转换取得了很大的进步，使得用户可以直接对智能手机说话，然后它可以将其翻译成另一种语言。

如今，自然语言处理是人工智能中发展最快的领域之一。我认为，如果它继续再创佳绩，将产生巨大的影响，因为语言是人类的核心特征。人工智能在语言预测上的表现越好，它在回复电子邮件或者口头对话上的表现也会变得越好。至少对外行来说，这些行为看起来很像在进行人类的思考。就这样，深度学习系统就像蹒跚学步的幼童，走上了通过著名的“图灵测试”（Turing test）之路。在图灵测试中，一台机器通过写字的方式来与一个人交流，并想方设法地欺骗这个人，让这个人相信它自己也是一个人。

在语言处理能力上，人工智能还有很长的路要走。不过，我得承认，当人工智能比我翻译得好时，我感到了一丝泄气。只有当我告诉自己“它还不能理解句子的意思”时，才感觉好了一点。通过在大规模的数据库中的训练，人工智能发现了词语中的模式和关系，而不用把这些词与现实世界中的东西联系起来。比如，它可能会用一个由几千个数字组成的数列来表征一个词语，而这个数列表示的只是这个词语与其他词语的相似程度。通过这种方式，它可能会总结出，“国王”和“王后”的关系与“丈夫”和“妻子”的关系类似。不过，它并不明白男性和女性是什么意思，甚至不知道在它之外还存在着一个拥有时间、空间和物质的物理实在。

翻译的结果：

由于图灵测试的本质是“欺骗”，所以很多人批评它只能测出人类有多容易被骗，而不能测出真正的人工智能。图灵测试有一个叫作“威诺格拉德模式挑战”（Winograd Schema Challenge）的对手。相比之下，这个测试直击要害，其目标是测试目前的深度学习相对欠缺的常识推理能力。当人类对句子进行语法分析时，总会使用真实世界的知识来理解代词指代的是什么。比如，一个典型的威诺格拉德模式挑战会问下面句子中的“他们”指的是什么：

◦ 市议会成员拒绝为游行示威者颁发许可，因为他们害怕暴力。

◦ 市议会成员拒绝为游行示威者颁发许可，因为他们提倡暴力。

每年都会举行一次威诺格拉德模式挑战赛，让人工智能回答这样的问题，而人工智能总是表现得一塌糊涂^[4]。这种推理指代关系的挑战，甚至连谷歌翻译也差强人意，比如，当我用谷歌翻译把前面那段话先翻译成中文，再翻译回英文时，就变成了下面这样：

但人工智能已经追上了我，而在2016年的大断裂之后，几乎没有什么语言，我能够翻译人工智能比谷歌大脑团队。

现在，它很可能已经比那时有所进步，因为很多方法都有望将深度递归神经网络与GOFAI结合起来，建造出一个包含着世界模型的自然