人工智能时代：破解人机共存密码（套装共10册）

最终，如果解决方案是可行的，权重将不再变化，这意味着感知器已经正确地将训练集中的所有样本进行了分类。但是，在所谓的“过度拟合”（overfitting）中，也可能没有足够的样本，网络仅仅记住了特定的样本，而不能将结论推广到新的样本。为了避免过度拟合，关键是要有另一套样本，称为“测试集”（test set），它没有被用于训练网络。训练结束时，在测试集上的分类表现，就是对感知器 是 否 能 够 推 广 到 类 别 未 知 的 新 样 本 的 真 实 度 量 。 泛 化（generalization）是这里的关键概念。在现实生活中，我们几乎不会在同样的视角看到同一个对象，或者反复遇到同样的场景，但如果我们能够将以前的经验泛化到新的视角或场景中，我们就可以处理更多现实世界的问题。

利用感知器区分性别

举一个用感知器解决现实世界问题的例子。想想如果去掉头发、首饰和第二性征，比如男性比女性更为突起的喉结，该如何区分男性和女性的面部。比阿特丽斯·哥伦布（Beatrice Golomb）是 1990年我实验室里的一名博士后研究员，她利用一个数据库中的大学生面部照片作为感知器的输入，经过训练的感知器能以81%的准确度对面部的性别进行分类（见图3–6）。^[8]而对于感知器难以分类的面部，人类也同样很难做出区分。我实验室的成员在同一组人的面部识别上达到了88% 的平均准确度。比阿特丽斯还训练了多层感知器（将在第8章中介绍），其准确度达到了92%，^[9]比我实验室的成员还要准确。她在1991年的NIPS大会上发表的演讲中总结道：“经验可以提高性能，这表明实验室的研究人员需要花更多时间来进行性别鉴定的工作。”她把她的多层感知器叫作“SEXNET”（性别网络）。在问答环节，有人问是否可以使用SEXNET来检测异装癖者的面孔。“可以。”比阿特丽斯这样回答。而NIPS大会的创始人爱德华·波斯纳（EdwardPosner）辩驳道：“那就应该叫DRAGNET（法网）。”^[10]

区分男性与女性面部的工作有趣的一点是，虽然我们很擅长做这种区分，却无法确切地表述男女面部之间的差异。由于没有单一特征是决定性的，因此这种模式识别问题要依赖于将大量低级特征的证据结合起来。感知器的优点在于，权重提供了对性别区分最有帮助的面部的线索。令人惊讶的是，人中（即鼻子和嘴唇之间的部分）是最显著的特征，大多数男性人中的面积更大。眼睛周围的区域（男性较大）和上颊（女性较大）对于性别分类也有着很高的信息价值。感知器会权衡来自所有这些位置的证据来做出决定，我们也是这样来做判定的，尽管我们可能无法描述出到底是怎么做到的。

1957年罗森布拉特对“感知器收敛定理”的证明是一个突破，他的演示令人印象深刻。在美国海军研究办公室（Office of NavalResearch）的支持下，他搭建了一个以400个光电单元作为输入的定制硬件模拟计算机，其权重是由电机调整的可变电阻电位器。模拟信号随着时间连续变化，就像黑胶唱片中的信号一样。用一组图片集（其中部分图片中有坦克，另外一部分则没有）进行训练，罗森布拉特的感知器即使在新图像中也能准确识别坦克。这一成果经《纽约时报》报道后引起了轰动（见图3–4）。^[11]

感知器激发了对高维空间中模式分离的美妙的数学分析。当那些点存在于有数千个维度的空间中时，我们就无法依赖在生活的三维空间里对点和点之间距离的直觉。俄罗斯数学家弗拉基米尔·瓦普尼克（Vladimir Vapnik）在这种分析的基础上引入了一个分类器，称为“支持向量机”（Support Vector Machine）， ^[12] 它将感知器泛化，并被大量用于机器学习。他找到了一种自动寻找平面的方法，能够最大限度地将两个类别的点分开（见图3–5，线性）。这让泛化对空间中数据点的测量误差容忍度更大，再结合作为非线性扩充的“内核技巧”（kernel trick），支持向量机算法就成了机器学习中的重要支柱。 [13]

被低估的神经网络

但是有一个限制，使得感知器的研究存在问题。上面的假设“如果存在这样的权重集合”提出了一个这样的困惑，即什么样的问题可能或不可能被感知器解决。令人尴尬的是，在二维平面中，简单分布的点不能被感知器分开（见图3–5，非线性）。事实证明，坦克感知器不是坦克分类器，而是天气分类器。^[14]对图像中的坦克进行分类要困难得多，而事实上，它不能用感知器来完成。这也表明，即使感知器学到了一些东西，也可能不是你认为它应该学到的那些东西。压倒感知器的最后一根稻草是马文·明斯基和西摩尔·帕普特在1969年发表的数学专著《感知器》（Perceptrons）。^[15]他们明确的几何分析表明，感知器的能力是有限的：它们只能区分线性可分的类别（见图3–5）。这本书的封面展示了明斯基和帕普特证明的感知器无法解决的几何问题（见图3–7）。尽管在书的末尾，明斯基和帕普特考虑了将单层感知器进行泛化成为多层感知器的前景，但他们怀疑可能没有办法训练这些更强大的感知器。不幸的是，许多人对他们的论断坚信不疑，于是这个研究领域渐渐被人们遗忘，直到20世纪80年代，新一代神经网络研究人员开始重新审视这个问题。

在感知器中，每个输入都独立地向输出单元提供证据。但是，如果需要依靠多个输入的组合来做决定，那会怎样呢？这就是感知器无法区分螺旋结构是否相连的原因：单个像素并不能提供它是在内部还是外部的位置信息。尽管在多层前馈神经网络中，可以在输入和输出单元之间的中间层中形成多个输入的组合，但是在20世纪60年代，还没 有 人 知 道 如 何 训 练 简 单 到 中 间 只 有 一 层 “ 隐 藏 单 元 ”（hiddenunits）的神经网络。

弗兰克·罗森布拉特和马文·明斯基曾是纽约市布朗克斯科技高中的同班同学。他们在科学会议上为各自迥异的人工智能研究方法展开了辩论，而与会者更倾向于明斯基的方法。尽管存在差异，但他们二人对我们理解感知器都有着重要贡献，而这正是深度学习的起点。

罗森布拉特在1971年死于一次驾船事故，年仅43岁，当时正值人们几乎一边倒地反对感知器的时期。有传言说他可能是自杀，但也可能只是一次不幸的出游。^[16]不可否认的是，一个发现了利用神经网络进行计算的新方式的英雄时代已经谢幕；又过了整整一代人的时间，罗森布拉特开创性努力的承诺才得以实现。

[1] 在空间上，人们发现细胞特性和连接性在皮层不同部分之间存在差异，这可能反映了不同感官系统的特异化和其结构的层次性。

[15] Marvin Minsky and Seymour Papert, Perceptrons(Cambridge, MA: MIT Press,1969). 也 可 参 阅 Marvin Lee Minsky and Seymour Papert, Perceptrons: AnIntroduction to Computational Geometry, expanded ed. (Cambridge, MA: MITPress, 1988)。

[16] 据加州大学圣迭戈分校的同事Harvey Karten称，罗森布拉特是一位经验丰富的水手。他曾带领一群学生驾船出游。船好像撞到了什么，他从船上落入水中，但当时没有一个学生能救得了他。（个人对话，2017年11月8日。）

04

大脑式的计算

“如果我有大脑”，这是1939年经典音乐电影《绿野仙踪》（TheWizard of Oz）里稻草人的唱词。但稻草人不知道的是，他早就已经有大脑了，否则他就没法说话或唱歌。但真正的问题是，他的大脑只诞生了两天，里面没有经验，空空如也。随着时间的推移，他对世界有了充分的认识，最后被公认为是奧兹国里最聪明的人，聪明到能意识到自己的局限。而铁皮人唱的是，“如果我能有心”。他和稻草人为心和脑哪个更重要而争论不休。在奥兹国中，认知和情感这两个大脑的产物在精妙的平衡中共同协作，通过不断学习慢慢创造出了类人的智慧。这在真实世界里亦是如此。这部音乐剧也引出了本章的主题：如果人工智能拥有大脑和心脏。

网络模型能够模仿智能行为

我和杰弗里·辛顿（见图4–1）在1979年他组织的一次研讨会上相识。因为对神经网络模型的未来抱有相似的信念，我们很快就成了朋友。后来我们合作研究出了一种新型神经网络模型，叫作“玻尔兹曼机”（Boltzmann machine）（将在第7章中进行讨论），并就此打破了阻碍一代人研究多层网络模型的僵局。

每隔几年，我都会接到杰弗里的一个电话，第一句都是“我想清楚大脑是怎么工作的了”。每一次，他都会告诉我一个巧妙的改进神经网络模型的新方案。尝试了多种方案并进行了若干次的改进后，利用多层神经网络的深度学习才在手机中的语音识别和识别照片中的对象等方面达到了与人类相近的水平。公众几年前才意识到深度学习的这些能力，虽然现在这些已经是众所周知的了，但这一过程却花费了相当长的时间。

杰弗里在剑桥大学获得了心理学学士学位，并在爱丁堡大学获得了人工智能博士学位。他的论文导师是克里斯托弗·朗古特–希金斯（Christopher Longuet-Higgins）。希金斯是一位杰出的化学家，他发明了一种早期的联想记忆网络模型。那时，实现人工智能的主流方式是基于使用符号、逻辑和规则来编写智能行为的程序；认知心理学家已经采用这种方法来理解人类的认知能力，尤其是语言。而那时的杰弗里却在逆流而行。没有人能预见到他有朝一日会搞清楚大脑——或者至少类似大脑的某种东西——的工作原理。他的讲座非常引人入胜，他能够清楚地解释抽象的数学概念，连没有太多数学基础的人都能够理解和掌握。他的机智和不失谦逊的幽默感令人倾倒。杰弗里天生也有着激进的一面，特别是当涉及大脑的话题时。

我们第一次见面时，杰弗里还是加州大学圣迭戈分校（UCSD）的一名博士后研究员，在由大卫·鲁姆哈特（David Rumelhart）和詹姆斯·麦克莱兰（James McClelland）领导的并行分布式处理（Parallel Distributed Processing，PDP）实验室工作。杰弗里坚信，将由简单处理单元构成的网络、并行工作和从样本中学习相结合，是理解认知的更好的方式。当时PDP实验室正在探索如何以分布在网络中的大量节点活动的形式来理解文字和语言，而杰弗里是其中的核心人物。

认知科学中理解语言的传统方法是基于符号表征。例如，“杯子”这个词是代表杯子概念的符号，不是特指某个杯子，而是指所有杯子。符号的美妙之处在于，它们让我们能够对复杂的概念进行压缩，并运用它们；而符号的问题在于，这种过分概括的表达形式使其很难在现实世界中被精确地描述出来——在现实世界中，杯子的样式、形状和尺寸有着无数种可能。虽然我们大多数人在看到杯子的时候都能很快认出它是什么，但没有一个逻辑程序能够清楚地指认哪个东西是杯子，哪个不是，也无法识别出图片中的杯子。正义、和平之类的抽象概念更会让一个计算机程序产生困惑。另一种方法是，通过大量神经元上的活动模式来表示杯子，如此一来就可以捕捉概念之间的相似和差异点。这赋予了符号可以反映其含义的丰富的内部结构。问题在于，在1980年，还没有人知道如何创建这些内部表征。