AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...

人类与机器学习的关键差距

ConvNets的开拓者杨立昆已经获得了许多奖项和荣誉，但他最为人熟知的“荣誉”可能是成为一个名字叫“Bored YannLeCun”（无聊的杨立昆）的推特账号的恶搞对象。这个账号经常以滑稽的方式来模仿杨立昆，并使用“在杨立昆的闲暇时间里 深 思 机 器 学 习 的 崛 起 ” 作 为 账 号 描 述 ， 还 经 常 以“#FeelTheLearn”（感受学习） ¹ 为标签来巧妙地结束其搞笑的推文，因此得到了广泛的关注。

确实，关于人工智能最前沿的媒体报道，一直在通过颂扬深度学习的能力来感受学习。例如，我们被告知，“我们可构建能够学习如何独立完成任务的系统” ² 、“深度学习使得计算机能够自己教自己” ³ ，以及深度学习系统“以某种类似人类大脑的方式” ⁴ 学习。

在本章中，我将更深入地探究机器特别是ConvNets如何进行学习以及它们的学习过程与人类相比有什么差距。此外，我将探索ConvNets和人类学习间的差异如何对其所学内容的鲁棒性和可靠性造成影响。

人工智能仍然无法学会自主学习

06

DNN这种“从数据中学习”的方法已被逐渐证实比“普通的老式人工智能”策略更成功，老式人工智能使用的是人类程序员对智能行为构建的显性规则。然而，与某些媒体报道的情况恰恰相反，ConvNets的学习过程与人类的学习过程并不是很相似。

正如我们看到的，最为成功的ConvNets通过一种监督学习算法进行学习：ConvNets在多个周期中一遍又一遍地在训练样本上处理图像示例并逐步调整自身权重，来学会将每个输入划分为一个固定类别集合中的某个类别。相比之下，即便是年幼的孩童，都是在一个开放式的类别集合上学习，并且在观察少数几个例子后就可以识别大多数该类别的实体。此外，孩童不是被动地学习，而是主动提出问题，他们想要了解自己感兴趣的事物的信息，他们会推断抽象概念的含义及其联系，并且最重要的是，他们积极地探索这个世界。

说如今大获成功的ConvNets能够自学是不准确的。正如我们在前一章看到的，为了让ConvNets学会执行一项任务，需要大量的人力来完成收集、挑选和标注数据，以及设计ConvNets架构等多方面的工作。虽然ConvNets使用反向传播算法从训练样本中获取参数（即权重），但这种学习是通过所谓的超参数（hyperparameters）集合来实现的，超参数是一个涵盖性术语，指的是网络的所有方面都需要由人类设定好以允许它开始，甚至“开始学习”这样的指令也需要人类设定好。超参数包括：网络中的层数、每层中单元感受野的大小、学习时每个权重变化的多少（被称为“学习率”），以及训练过程中的许多其他技术细节。设置一个ConvNets的过程被称为“调节超参数”，这其中需要设置许多参数值以及做出许多复杂的设计决策，而且这些设置和设计会以复杂的方式相互作用，从而影响网络的最终性能。此外，对每个新的训练任务，网络的这些设置和设计必须被重新安排。

调节超参数听起来可能像是一项非常普通的工作，但调节的好坏对于ConvNets及其他机器学习系统能否良好运行是至关重要的。由于网络设计的开放性，通常不可能自动设置网络的所有参数和设计，即便使用自动搜索也是如此，它往往需要一种神秘的知识，机器学习领域的学生通常会从他们追随的专家那里，以及自己来之不易的经验中获取它。正如微软研究院主任埃里克·霍维茨（Erik Horvitz）所说：“现在，我们所研究的不是一门科学，而是一种炼金术。” ⁵ 根据DeepMind的联合创始人戴米斯·哈萨比斯（Demis Hassabis）的说法，这些能做到“网络低语”（network whispering） ⁽²²⁾ 的人们形成了一个小型且排外的群体，“这几乎是一种集各种系统之优点为一体的艺术形式……世界上只有几百人能够真正做好这项工作” ⁶ 。

事实上，深度学习研究专家的数量正在快速增长，如今许多大学都开设了这个领域的相关课程，并且越来越多的公司开始为员工开设深度学习培训课程。在我2017年参加的一次会议中，微软前执行副总裁、人工智能产品组负责人沈向洋向与会者讲述了微软为招聘年轻的深度学习工程师所付出的努力：“如果一个年轻人了解如何训练5层神经网络，他可以要求5位数的年薪。如果这个年轻人懂得如何训练50层神经网络，那么他可以要求7位数的年薪。” ⁷ 祝贺这位即将变得富有的年轻人，因为目前神经网络还无法自学超参数调节。

深度学习仍然离不开“你”的大数据

深度学习需要大数据，这已经不是什么秘密了，比如ImageNet上超过百万张已标注的训练图像。这些数据从哪里来？答案当然是你以及你所认识的每个人。现代计算机视觉应用程序之所以成为可能，主要归功于互联网用户已上传的、有时带有说明图像内容的文本标签的数十亿张图像。你是否曾在Facebook上发布过一张朋友的照片并进行评论？Facebook应该对你表示感谢！该图像及其文本可能已被用于训练他们的人脸识别系统了。你是否曾在Flickr上传过图片？如果是，那么你所上传的图像可能已成为ImageNet训练集的一部分了。你是否曾通过识别一张图片来向某个网站证明你不是一个机器人？你的识别结果可能帮助了谷歌为图片设置标签并被用于训练其图片搜索系统。

大型科技公司通过计算机和智能手机为你提供许多免费服务：网络搜索、视频通话、电子邮件、社交网络、智能助理，诸如此类。这些对公司有什么用处呢？答案你可能已经听说过，就是这些公司真正的产品其实是其用户，例如你和我，而他们真正的客户则是那些获取我们在使用这些免费服务时的注意力和信息的广告商。还有另外一个答案：在使用大型科技公司如谷歌、亚马逊和Facebook等提供的服务时，我们会以图像、视频、文字或语音等形式直接为这些公司提供样本，这些样本可供公司更好地训练其人工智能程序，这些改进的程序能够吸引更多用户来贡献更多数据，进而帮助广告商更有效地定位其广告投放的对象。此外，我们提供的训练样本也可被公司用于训练程序来提供企业服务，并进行商业收费，例如计算机视觉和自然语言处理方面的服务。

关于这些大公司在没有通知或补偿用户的情况下，使用用户所创造的数据来训练程序并用于销售产品的道德问题，已有许多相关探讨。这是一个非常重要的讨论主题，但超出了本书的范围 ⁸ 。我想在这里强调的重点是：依赖于收集到的大量已标注的数据来进行训练是深度学习不同于人类学习的另一个特点。

随着深度学习系统在物理世界实际应用的激增，很多公司发现需要大规模的新标记的数据集来训练DNN。自动驾驶汽车就是一个值得关注的例子，这类汽车需要复杂的计算机视觉功能，以识别车道、交通信号灯、停车标志等，以及辨别和追踪不同类型的潜在障碍物，如其他汽车、行人、骑自行车的人、动物、交通锥、翻倒的垃圾桶、风滚草，以及其他任何你可能不希望汽车会撞到的对象。自动驾驶汽车还需要学习这些对象在晴天、雨天、下雪天、有雾的日子，以及白天和黑夜时看起来的样子，还要学会判断哪些对象可能会发生移动，而哪些则会留在原地。深度学习将有助于这项任务的实现，至少在某种程度上是如此，但这同样需要大量的训练样本。

自动驾驶汽车公司从安装在真实汽车上的摄像头所拍摄的海量视频中收集训练样本。这些行驶于高速公路和城市街道中的汽车可能是汽车公司用来测试的自动驾驶车辆的原型，而对特斯拉而言，这些汽车就是由客户驾驶的汽车，在客户购买特斯拉汽车时，需要接受该公司的数据共享条款 ⁹ 。

特斯拉车主并未被要求对他们的汽车拍摄的视频中的每个对象进行标注，但有人在做这些事。2017年，《金融时报》（Financial Times ）报道称，“大多数研究这项技术的公司位于印度等国的离岸外包中心并雇用了数百至上千人，他们的工作就是教自动驾驶汽车识别行人、骑自行车的人以及其他障碍物。这些工作人员需要手动标注长达数千小时的视频片段来完成这项工作，而且通常是逐帧进行标注” ¹⁰ 。提供标注数据集服务的新公司如雨后春笋般涌现，例如，Mighty AI公司提供训练计算机视觉模型所需的标注数据，并承诺：“我们是知名的、专攻自动驾驶数据的、经过认证的、可信的标注者。” ¹¹

长尾效应常常会让机器犯错

这种需要大型数据集和大量人类分类员的监督学习方法，至少对自动驾驶汽车所需的某些视觉功能是有用的，许多公司也正在探索利用类似于视频游戏的模拟驾驶程序来强化有监督的训练。那么对于生活的其他领域呢？几乎所有从事人工智能研究的人都认同，监督学习方法并不是一条通往通用人工智能的可行途径。正如著名的人工智能研究者吴恩达所警告的：“对大量数据的需要是目前限制深度学习发展的主要因素。”

¹² 另一位知名的深度学习专家约书亚·本吉奥（YoshuaBengio）表示赞同，他说：“实事求是地讲，我们不可能对世界上的所有事物都进行标注，并一丝不苟地把每一个细节都解释给计算机听。” ¹³

这一情况由于“长尾效应”的存在而进一步恶化，所谓的“长尾”，就是指人工智能系统可能要面临各种可能的意外情况。图6-1给出了自动驾驶汽车在一天的行驶期间可能会遇到的各种假设情况，这可以很好地说明这个问题。

遇到红灯或停车标志等都是常见的情况，被评定为具有高可能性；中等可能性的情况包括遇到碎玻璃或者风吹过来的塑料袋，这些情况并非每天都会遇到，但也不是不常见，这取决于你驾驶的区域；不太常见的情况是自动驾驶汽车遇到了被水淹没的道路或被雪遮挡住的车道标志；而在高速公路的中央遇到一个雪人，则是更加不常见的情况了。

我想出了上述这些不同的情况，并对其相应的可能性进行了猜测，我相信你可以想出更多自己的猜测。任何一辆单独的汽车都可能是安全的，毕竟，总体来说，自动驾驶的测试车辆已经行驶了数百万千米，也只发生了很少的交通事故，尽管其中确有一些备受关注的伤亡事故。然而，一旦自动驾驶汽车普及开来，真实世界中有如此多种可能的情况，尽管每个单独的、不太可能发生的情况极少发生，但是面对如此多数不清的可能场景以及巨大的车流量，总会有某辆自动驾驶汽车会在某个时间、某个地点遭遇其中的一种情况。

“长尾”这个术语来自统计学，其中包含的各种可能事件的概率分布的形状类似于图6-1：这一长串可能性低，但却可能发生的情况被称为该分布的“尾巴”，尾巴上的情况有时被称为“边缘情况”。人工智能在现实世界的大多数领域中都会面对这种长尾效应：现实世界中的大部分事件通常是可预测的，但仍有一长串低概率的意外事件发生。如果我们单纯依靠监督学习来提升人工智能系统对世界的认识，那么就会存在一个问题：尾部的情况并不经常出现在训练数据中，所以当遇到这些意外情况时，系统就会更容易出错。

举两个真实的案例。2016年3月，天气预报称美国东北部将出现大规模暴风雪，推特上有报道称发现特斯拉汽车在自动驾驶模式下把车道标记和高速公路上为预防暴风雪而铺设的盐线弄混了（见图6-2）。2016年2月，谷歌的一辆无人驾驶汽车在右转弯时，为避开公路右侧的沙袋不得不左转，致使车辆的左前方撞上了一辆在左车道行驶的公共汽车。这两辆车都预判对方会进行避让，其中公交车司机可能认为，人类司机会害怕体积更大的公交车从而选择避让，没想到这是一辆无人驾驶汽车。

从事自动驾驶技术研究的公司敏锐地意识到了长尾效应，他们的团队围绕可能的长尾情境展开了头脑风暴，积极创造更多的训练样本，并针对他们能想到的所有不太可能的场景编写了相应的应对策略，但是，他们显然无法穷尽系统可能遇到的所有场景。