AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...

这条声明确实振奋人心，但是我们也应该注意其中需要警惕的地方。AlphaGo Zero确实没有在学习过程中使用任何人类示例，但并不是说它不需要人类的指导，相反，某些方面的人类指导对其成功至关重要，包括它的ConvNets的具体架构、对蒙特卡洛树搜索方法的使用，以及这两者所涉及的众多超参数的设置。正如心理学家和人工智能研究人员盖瑞·马库斯所指出的：“AlphaGo的这些关键部分没有一个是通过纯粹的强化学习，从数据中学到的，相反，它们是由DeepMind的程序员在一开始就植入其内的……” ⁵ DeepMind的雅达利游戏程序实际上是比AlphaGo更好的、不用人类指导进行学习的案例，和AlphaGo不同的是，雅达利游戏程序没有被植入游戏的规则（例如，《打砖块》游戏的目标是击毁砖块），甚至与游戏相关的“对象”的概念（例如，“球拍”或“球”）都完全不具备，它只是通过在屏幕上的一次次尝试来学习这些东西，并最终掌握了玩好这些游戏的技巧。

对人工智能而言_，人类的很多游戏都很具挑战性

DeepMind的声明中有一句话需要考量——即便是在最具挑战性的领域。我们如何能够评估某个领域对人工智能的挑战性？正如我们已经看到的，许多我们人类认为相当容易的事情，例如，描述一张照片的内容，对计算机来说却极具挑战性。相反，许多对于我们人类来说极其艰难的事情，例如，正确地将两个50位的数字相乘，计算机却可以用一行代码在瞬间完成。

有一种方法可以评估一个领域对计算机的挑战性：观察一些非常简单的算法在该领域中表现如何。2018年，优步（Uber）人工智能实验室的一组研究人员发现：在几款雅达利电子游戏上，一些相对简单的算法的表现几乎可以媲美DeepMind的深度Q学习算法，有时甚至更好。其中最令人意外的算法是“随机搜索”：这种算法不是通过多个片段的强化学习来训练深度Q网络，而是通过随机选择权重的方式来测试不同的ConvNets ⁶ 。也就是说，这种算法完全通过随机试错来进行学习。

你可能会认为一个随机选择权重的网络在雅达利电子游戏上会表现得很差。确实，大多数此类网络都是糟糕的“玩家”，但优步的研究人员持续尝试新的随机权重网络，最终他们用比训练一个深度Q网络更少的时间，找到了一个能在他们测试的13款游戏的5款中与深度Q学习算法训练的网络表现得一样好甚至更好的网络。

另外一种相对简单的算法，即所谓的“遗传算法”⁷ ，在13款游戏中的7款都表现得优于深度Q学习算法。不知道该对这些结果说什么，很可能雅达利游戏对人工智能来说，并不像人们最初认为的那样具有挑战性。

我还未听说有人对围棋的网络权重尝试类似的随机搜索算法，如果它行得通我会感到非常惊讶。人们对构建计算机围棋程序的尝试有着悠久的历史，因而我确信围棋对人工智能来说算是一个真正具有挑战性的领域。然而，正如马库斯所指出的那样，对人工智能而言，人类玩的许多游戏甚至比围棋更具挑战性。马库斯给出的一个示例是猜字谜游戏 ⁸ ，如果你仔细想想，你会发现：这个游戏需要远超任何现有人工智能系统的复杂的视觉、语言和社会理解能力。如果你能制造出一个可以像6岁的小孩那样玩猜字谜游戏的机器人，那么我认为你可以很有把握地说，你已经征服了多个对人工智能来说最具挑战性的领域。

它并不真正理解什么是一条隧道_，什么是墙

和深度学习的其他应用一样，我们并不清楚这些用在游戏系统中的神经网络真正学到了什么。在阅读前面的章节时，你可能已经注意到我的描述中夹杂了一些微妙的拟人化表达。例如，我曾这样表述：“DeepMind的‘打砖块’程序发现了在砖块间挖隧道的策略。 9

在谈论人工智能系统的行为时，无意间用到这种语言，对我和其他任何人来说都一样地容易。我们的语言经常带着无意识的假设，而这些程序可能并非我们想的那样。DeepMind的“打砖块”程序是否真的理解了“挖隧道”这一概念？马库斯提醒我们在这里需要谨慎：

系统没有学会这样的东西，它并不真正理解什么是隧道、什么是墙，它仅仅学会了针对特定场景的应变措施。迁移测试表明深度强化学习的解决方案通常极端肤浅。在迁移测试中，深度强化学习系统所面临的场景与其在训练时所面临的场景仅存在细微的不同，然而，系统都无法通过测试 ⁹ 。

马库斯所说的迁移测试指的是一些这样的研究，它们试图探究深度Q学习系统在多大程度上能将它们学到的能力进行迁移，即便是非常小的、在同种游戏上的能力迁移。例如，一组研究人员研发了一个类似于DeepMind“打砖块”程序的系统。他们发现，即使这个玩家被训练到超人水平，只要将球拍在屏幕上的位置移动几个像素，系统的表现就会骤然下降 ¹⁰ 。这意味着系统甚至没有学到“球拍”这种基本概念的含义。另一组研究人员发现：对于在《乒乓球》游戏中训练的深度Q学习系统，当屏幕的背景颜色被改变时，系统的表现会显著下降 ¹¹ 。而且，系统需要经过许多片段的重新训练才能适应这种变化。

以上只是深度Q学习无法将其学到的能力进行泛化的两个案例，这与人类智能形成了惊人的对比。不知道有没有人研究过DeepMind“打砖块”程序对“挖隧道”这一概念的理解，但我猜测，如果没有大量的重新训练，系统无法将对这一概念的理解力泛化为向下或向侧面挖隧道的能力。正如马库斯所指出的，虽然我们将我们以为的对像“墙”“天花板”“球拍”“球”“隧道”等基本概念的理解写进了程序，但事实上，程序并不理解这些概念：

这些案例清楚地表明，用“墙”或“球拍”这种归纳性的概念来评估深度强化学习是具有误导性的，这样的现象在比较心理学（动物领域）上有时被称为过度分配偏见（overattributions）。DeepMind“打砖块”程序并没有真正掌握“坚固的墙”这一概念，而只是在一组高度集中的训练场景中完成了通过挖隧道穿过墙壁这种行为 ¹² 。

类似地，尽管AlphaGo在下围棋时表现出了神奇的直觉能力，但是该系统没有任何机制，能使其在不经重建和重新训练深度Q网络的情况下，泛化它的围棋能力，即便是泛化到一个更小的或形状不同的围棋棋盘上。

简而言之，尽管这些深度Q学习系统已经在某些细分领域上取得了超人类的表现，甚至展现出了类似人类直觉的特性，但是它们缺乏一些对人类智能而言非常基本的东西，比如抽象能力、“域泛化”（domain generalization）能力，以及迁移学习能力，如何使系统获得这些能力仍然是人工智能领域最重要的开放问题之一。

我们认为这些系统并未以人类的方式来学习人性化的概念或理解它们的领域的另一个原因是：与监督学习系统一样，这些深度Q学习系统极易受到我在第06章中描述的那种对抗样本的攻击。例如，一个研究小组表明：在一个雅达利游戏程序的输入中对图像做出某种人类无法察觉的微小改变，会严重损害程序的游戏表现。

除去思考^“围棋^”_，AlphaGo没有^“思考^”

当我们思考国际象棋和围棋这样的游戏及其与人类智能的关系时，我们得想想：为什么那么多家长鼓励他们的孩子加入学校的国际象棋或围棋俱乐部？为什么他们更愿意看到自己的孩子下象棋或围棋，而不是坐在家里看电视或玩电子游戏？这是因为他们相信像国际象棋或围棋这样的游戏可以教会人们如何更好地思考：如何进行逻辑思考、抽象推理和战略规划。这些都是能够让人受用一生的能力，也是可以在所有事情中使用的通用能力。

对于AlphaGo来说，尽管它在训练期间下了数百万盘棋，但是却并没有学会更好地“思考”除围棋之外的其他任何事情。事实上，除了围棋之外，它不具备任何思考、推理和规划的能力。据我所知，它所学到的能力没有一项是通用的，也没有一项可以被迁移到任何其他任务上。AlphaGo是终极的“白痴天才” ⁽³⁰⁾ 。

当然，AlphaGo中使用的深度Q学习算法能被用于学习其他任务，但系统本身必须进行彻底的重新训练，所以，它基本上算是从头开始学习一项新技能。

这又把我们带回到第01章中讲到的“容易的事情做起来难”这个人工智能悖论。AlphaGo是人工智能领域的一项伟大成就，主要通过自我对弈进行学习，并且能够在一场经典的智力角逐类的比赛中击败世界上最杰出的人类棋手之一。可是，AlphaGo并没有表现出通常意义上的人类水平的智能，甚至没有表现出任何真正的智能。对于人类来说，智能的一个关键点并非在于能够学习某一特定的技能，而在于能够学会思考，并且可以灵活地将这种思考能力用于应对任何可能遇到的情况或挑战，这也是我们希望孩子们能够通过下国际象棋或围棋学习到的真正技能。从这个意义上讲，学校的国际象棋或围棋俱乐部里最低年级的小朋友都比AlphaGo聪明得多。

从游戏到真实世界_，从规则到没有规则

最后，让我们想一想哈萨比斯关于这些在游戏上的各种尝试的终极目标的声明：“把它们应用于解决现实世界的问题，并在健康和科学等领域产生巨大影响。”我认为，DeepMind在强化学习方面的努力很有可能最终会产生如哈萨比斯所希望的那种影响，但是从游戏到现实世界还有很长的路要走。

迁移学习的能力就是其中一个障碍，当然，还有其他原因使得很难将强化学习在游戏中的成功扩展到现实世界。像《打砖块》和围棋这样的游戏非常适合使用强化学习，因为它们有清晰的规则、直截了当的奖励机制，以及相对较少的可能动作（如行棋）。此外，玩家有获得完整信息的途径：游戏的所有部分始终对玩家可见，玩家的状态没有隐藏或不确定的部分。

然而，现实世界并不是如此清晰划定的。侯世达指出：“‘状态’这一概念在现实生活中根本不存在明确的定义。如果你仔细观察现实生活中的各种情形，你会发现它们并不都像国际象棋或围棋那样具有条条框框的规则……现实世界中的各种情形根本就没有边界，你不知道情形之中是什么，也不知道情形之外是什么。” ¹³

例如，考虑使用强化学习来训练一个机器人执行一项非常有用的现实世界中的任务：把堆在水槽里的脏盘子放入洗碗机中。想一想，一个这样的机器人将会使我们的家庭变得多么和谐！我们应如何定义机器人的状态？应该包含它视野中的所有东西吗？比如，水槽和洗碗机里的东西。那么跑过来舔盘子的狗呢？无论我们如何定义其状态，这个机器人都必须能够识别不同的物体，例如，识别一个应该被放到洗碗机底部的架子上的盘子、一个应该被放在洗碗机架子顶部的咖啡杯，或一块根本不应该被放进洗碗机中的海绵。可是到目前为止，计算机的目标识别还远算不上完美。此外，机器人还必须对不在其视野内的物体有所感知，比如隐藏在水槽底部的锅碗瓢盆。机器人还需要学会捡起不同的物体，并小心仔细地把它们放在适当的插槽中。所有这一切都需要机器人学会在众多可能的动作中做出选择，包括调整机器人身体的位置、用于抓取的“手指”的动作、由电机控制的将物体从水槽移动到洗碗机正确卡槽的动作等。 14

DeepMind的玩游戏智能体需要数百万次的迭代训练，如果我们不想要数百万个破碎的盘子，就必须在模拟环境中训练这些智能机器人。我们可以通过游戏程序在计算机上进行非常快速和准确的模拟，在模拟环境中不用去移动一颗真正的棋子，或者让一颗真的球在球拍上弹跳，也不用去击碎一块真的砖块，但是模拟一个洗碗机装载机器人依然非常不容易。模拟越逼真，在计算机上运行的速度就越慢，并且即便使用一台速度非常快的计算机，要把所有的物理作用力和装载碗碟的其他方方面面的相关参数都精确地置入模拟中也极其困难。然后还有那只烦人的狗，以及现实世界中所有其他不可预测的情况，我们如何弄清楚哪些需要包含在模拟中，哪些又可以被适当地忽略掉呢？

特斯拉的人工智能总监安德烈·卡帕西注意到了以上这些问题，他表示：“像这样的现实世界中的任务，基本上与所有围棋满足的并且为AlphaGo设定的每一个单独的假设都相违背，所以，任何成功的方法都绝不可能是像AlphaGo那样的。” ¹⁵

没有人知道这种成功的方法会是什么。确实，深度强化学习领域的发展才刚起步。我在本章中的论述可算作是对如下原则的证明：深度网络和Q学习的组合在某些细分但非常有趣的领域中的表现出奇地好，并且尽管我的论述凸显了该领域当前面临的一些局限性，还是有非常多的同行正致力于拓展强化学习，并努力使其应用更广泛。

DeepMind的游戏程序重新激发了人们对于该领域的极大的兴趣和热情，而且，深度强化学习被《麻省理工科技评论》杂志评为2017年“十大突破性技术”之一。在未来的几年里，随着强化学习理论的不断成熟，我相信我将很快就能拥有一台可以自己学习的洗碗机装载机器人，或许它还可以在业余时间踢足球和下围棋。

本章要点

10 像人一样学会迁移

在机器学习领域，迁移学习是一个充满前景的学习方法，它是指一个程序将其所学的关于一项任务的知识进行迁移，以帮助其获得执行不同的相关任务的能力。对于人类来说，迁移学习是自动进行的，比如，学会打乒乓球之后，我们就能将其中的一些技巧进行迁移来帮助我们学习打网球和羽毛球；知道如何下西洋跳棋，也有助于我们学习国际象棋。

人类这种从一种任务到另一种任务的能力迁移看起来毫不费劲，我们对所学知识进行泛化的能力正是思考的核心部分。因而，我们可以说，迁移学习的另一种表达就是学习本身。

与人类形成鲜明对比的是，当今人工智能领域中的大多数学习算法在相关的任务之间是不可迁移的。在这一点上，该领域离哈萨比斯所说的通用人工智能仍然还有很远的距离。尽管迁移学习是目前机器学习从业者最活跃的研究领域之一，但这方面的研究仍然处于初级阶段。