智慧的疆界 从图灵机到人工智能

$$
\mathrm { M S E } _ { \mathrm { T O T A L } } \quad \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \mathrm { M S E } _ { i }
$$

LOOCV 方法完美克服了 Hold-Out 方法的两大缺点：每一轮次中几乎所有的样本都用于训练模型，因此是最接近原始样本分布的，这样评估所得的结果比较可靠；实验过程中没有任何随机因素会影响实验数据，确保实验过程是完全可以被重现的。

但 LOOCV 方法也有很明显的缺点：由于需要建立的模型数量与原始数据样本数量相同，它的计算成本非常高。训练样本数据量越多，要经历的建模过程的次数就越多，这是极为耗时的，因此在实际操作中完全遵循 LOOCV 方法是非常困难的，除非每次训练分类器得到模型的速度很快，或者可以并行计算以减少计算所需的时间，否则它的适用范围将受到极大的限制。

为了解决 LOOCV 方法计算成本过高的问题，一种名为“ K折交叉验证”（K-fold Cross Validation）的新方法出现了，这种交叉验证的形式也是一种折中，可以使验证过程的计算成本变得可控。

K折交叉验证方法和 LOOCV 方法的不同之处在于，每次选取的测试集不再只包含一个样本数据，而是多个样本，具体数目将由K值的大小决定。譬如，假设 K等于 5，那么我们进行的验证就是“5 折交叉验证”，如图 6-35 所示，它的具体步骤如下：

第 6 章 机器学习概览

235

○一 图片来源：https://zhuanlan.zhihu.com/p/24825503。

1）将所有数据集平均拆分成 5 份。

2）不重复地每次取其中一份作为测试集，用其他四份作为训练集训练模型，之后计算该模型在测试集上的均方误差（假设仍然是采用均方误差来度量性能），记作 $\mathrm { M S E } _ { i \mathrm { c } }$

3）将 5 次的 $\mathrm { M S E } _ { i }$ 取平均值作为整个模型的 MSE。

K折交叉验证方法的公式与 LOOCV 方法的公式在形式上是一致的，只是不再硬性地与集合的样本总数量相关，具体如下所示：

$$
\mathrm { M S E } _ { \mathrm { T O T A L } } { = } \frac { 1 } { K } \sum _ { i = 1 } ^ { K } \mathrm { M S E } _ { i }
$$

从操作步骤中可以看出，K折交叉验证其实是介于 Hold-Out 方法和LOOCV 方法之间的一种折中方法，它同时具有两者的优点和缺点，K值的选取本身就是一种计算成本和结果精度之间的权衡。K越大，每次投入训练集的数据就会越多，而当 K达到N时，K折交叉验证也就等同于 Hold-Out 方法了。一般来说，K值应设置在 5～10 之间。

6.8 本章小结

行文至此，读者已经学完了全书阅读难度最大的一个章节，从下一章起，本书将回归到以人物和事件来介绍人工智能重点分支的叙事风格上。尽管本章的难度与风格在全书中显得有些异类，但笔者仍然坚持将它放在整个机器学习部分的开篇，因为本章是现今极为热门的机器学习技术和学科分支的综述，笔者在有限的篇幅里面，试图尽可能通俗地解答“机器学习是什么”“它能解决哪些问题”“它通过哪些步骤来解决问题”以及“如何验证、评估它的解决效果”这四个基本问题。分析这些问题，也是为了让读者站在一个全局的高度上看清楚机器学习这门技术的全貌，而不是一接触机器学习，马上就去研究具体的学习算法，过快地陷入“具体应该如何去做”的细节之中。

236

第三部分 第三波高潮

不过，如果读者阅读的目的不局限于概览全貌，而是希望阅读之后能够自己进行机器学习方面的研究或者工作实践的话，那只阅读本章内容显然是不够的，这时就必须深挖机器学习里关于“具体应该如何去做”的内容了，譬如各种线性模型、决策树、支持向量机、贝叶斯分类器等学习算法，以及各种优化算法的细节等。如果你是这个专业的开发人员或者研究人员，或者对机器学习有强烈兴趣，建议阅读完本书后，针对这部分内容，继续阅读关于机器学习具体算法的书籍。

第 6 章 机器学习概览

237

·Chapter ·第 7 章

深度学习时代

The quest for“ artificial flight ”succeeded when the Wright brothers and others stopped imitating birds and started learning about aerodynamics.

当莱特兄弟和其他人不再模仿鸟类飞行，而是开始研究空气动力学的时候，人类对“人工飞行”的探索才算是取得了成功。

—彼得·诺维格（Peter Norvig），《人工智能：一种现代方法》，1994 年

7.1 概述

人工神经网络（Artificial Neural Network）这个概念最早是在皮茨与麦卡洛克合著的论文《神经活动中内在思想的逻辑演算》中首次提出的，随后，由于罗森布拉特和他的感知机受到了全社会的广泛关注，促成了连接主义的第一波热潮。感知机和神经网络这些原本应该属于学术圈和实验室的生僻概念，很快就从人工智能的一门旁支技术发展为这个领域的主流。无奈好景不长，那个年代的感知机和神经网络，不论理论方法还是实践技术都不成熟，应用效果远远无法达到公众期望，高涨的热情也就逐渐变成了失望乃至责难。在那个历史阶段，所有与人工智能有关的技术都遇到了类似的窘境，而神经网络是受冲击最直接、最严重的一门技术。同时，人工智能奠基人之一的明斯基对罗森布拉特发起了残酷的学术攻伐，引发了直接针对罗森布拉特和感知机技术的、波及整个人工智能领域的第一次人工智能冰河时期，导致神经网络的研究在 20 世纪 70 年代末迅速衰落。以上这些关于连接主义兴衰的梗概在第 4 章中我们已经了解过，在本章，我们将延续这段历史的时间线，继续讲解人工智能、机器学习和神经网络进入 20 世纪 80 年代之后如何发展的故事。

第 4 章的最后提到，从今天大小企业、各类职业的人员都在谈论神经网络就可以知道，神经网络并未在 20 世纪 70 年代的人工智能寒冬中彻底死去，它仿佛老旧武侠小说里面那些掉下山崖的侠客一般，总有奇遇，并凭此逆袭，终成故事主角。经过前面两章夯实了连接主义和机器学习的基础知识后，我们已学习了较为完整的理论基础和背景，现在让我们一起去探索神经网络、深度学习这两个当今学术界、工业界最热门的话题背后的秘密，一起去窥探人工智能这部“气势恢宏的江湖传奇小说”中主角的真正本领！

7.2 引言：教父

神经网络被公众关注的热度大幅下降后，仿佛从一个极端走到了另一个极端。连接主义，或者更广泛一点，所有“以机器模拟大脑结构”的研究被学术界视作一种“浮夸”的表现，几乎够得上学术异端了。在研究失去了绝大部分政府和组织的资助，大量学者改投其他领域后，还在这个领域继续坚守的那一小批学者，也终于得以安安静静、扎扎实实地面对那些之前被公众热情所遮掩，实际却无法绕过和忽略的神经网络中的关键缺陷。神经网络最后能走出这个艰难的阶段，与其中几位关键人物的推动有非常密切的关系，是他们的卓越工作把处于被遗弃边缘的人工神经网络挽救回来。其中，如果仅允许挑选一位最关键的贡献者的话，毫无疑问，全世界的人工智能研究者都一定会推举多伦多大学计算机科学系的杰弗里·辛顿（Geoffrey Hinton，1947—）教授，如图 7-1 所示。在今天他被尊称为“深度学习教父”，是以他为首的一批坚守在神经网络阵营的学者的共同努力，才令神经网络最终能以铅华洗净的姿态重返人工智能的舞台，重新获得人工智能“江湖”里主角的地位。

第 7 章 深度学习时代

239

辛顿教授有着所有英国学者的典型外貌特征：一头蓬乱的头发，皱巴巴的衬衫，衬衫前面的口袋里插着一排圆珠笔，站在一个巨大的白板前，白板上写满了各种复杂难解的方程式。尽管在北美待了多年，辛顿仍旧操着一口标准的英式口音，他在一次接受媒体采访时说道：

“被称为‘教父’我感觉有些难为情，但我对我自己的数据有一种‘里根式’的笃信^○一。”

正是辛顿对自己所从事的工作和所在领域的前景有不动摇的信念，才使他从学术生涯多年的不得志走到了当前最热门的人工智能的前沿。辛顿及与他共同奋斗的学者挖掘出了机器学习的无限潜力。现在，他与纽约大学教授、Facebook 人工智能研究院创建人杨立昆（Yann LeCun，1960—）以及蒙特利尔大学、微软研究院的人工智能战略顾问约书亚·本吉奥（Yoshua Bengio，1964—）并称机器学习的“三巨头”，由于他们都与加拿大有渊源，因此又被其同行和竞争对手戏称为机器学习领域的“加拿大黑手党”。接下来，我们就

240

第三部分 第三波高潮

○一 这里的里根是指美国第 40 任总统罗纳德·里根（Ronald Reagan），“里根式”的笃信是指一种建立在理性思考上的，对思想、信仰或价值观的坚定信念和执着追求，是一种面对逆境时的精神力量。

从辛顿的故事开始讲起吧。

7.3 逆反之心

1947 年底，辛顿出生在英国伦敦小镇温布尔登（Wimbledon），成长于布里斯托尔（Bristol）。辛顿诞生于一个富有传奇色彩的学者家族，这个家族在各个领域出过很多著名学者，前面章节中出现过几次的创立布尔代数的逻辑学家乔治·布尔（George Boole，1815—1864）便是辛顿的曾曾祖父，而辛顿的曾祖父查理斯·辛顿（Charles Hinton，1853—1907）是一位数学家，更是著名的科普和科幻小说作家，写有《第四维空间》（The Fourth Dimension）等作品。辛顿的父亲霍华德·辛顿（Howard Hinton，1912—1977）是一名昆虫学家。辛顿的两位堂兄妹在中国很有名，堂弟叫 William Hinton（中文名：韩丁），堂妹叫 Joan Hinton（中文名：寒春）。寒春参加过曼哈顿计划，为美国制造原子弹，后心怀解放全人类的理想来到了中国，并成为第一位获得“中国绿卡”的国际友人。年纪大一点或者读过邓稼先事迹的朋友，应该都听说过他们的名字。可以说，辛顿一家都流淌着饱含聪明才智基因的血液，不过有这种天才家庭出身的辛顿却是一位非典型的天才，他的求学，尤其是追求人工智能的理想之路走得很不平坦。

辛顿与人工智能结缘很早，根据他的自述，在 20 世纪 60 年代念高中时，一次偶然的机会，他无意间听到了人脑信息存储的全息图机制，如同他的前辈皮茨和麦卡洛克等学者研究的神经网络以及信息如何在大脑中存储记忆的猜想一样，辛顿为此深深地着迷，他形容这是他一生中的关键时刻，也是他一生成功的起点。

辛顿比许多同龄人都要聪明，不过，他在高中毕业进入剑桥大学国王学院攻读物理和化学学位后，仅读了一个月就退学了。在自传中他这样解释：“我那时候 18 岁，第一次离开家自己生活。当时的工作十分繁重，周围没有任何女孩，我感到有些压抑。”一年之后，他再次申请攻读建筑学学位，结果在建筑系仅仅上了一天课，又决定转读物理学和生理学，后来发现物理学和生理学还是不适合自己，再次退学。此后，他再改读哲学，但因为与他的导师发生争吵而告吹。最后，他选择读心理学，并于 1970 年以剑桥大学国王学院实验心理学“荣誉学士”的身份毕业。

第 7 章 深度学习时代

241

对于这样一位学术泰斗，这段教育经历实在算不上光彩，以至于辛顿自己都不禁自嘲道：“我想我可能有一种教育上的多动症，无法安安静静地学习。”大学毕业后，辛顿搬到了伦敦北部的伊斯灵顿区居住，为了生计，他成为一个包工木匠，过着混乱不堪、近乎潦倒的日子。

可能环境有时候会起反作用，也可能辛顿的灵魂中本来就隐藏了一颗逆反的心，在离开大学校园最好、最安静的学习环境之后，辛顿反而能够平静地追求他所向往的机器模拟人类大脑。每个星期六早上，他都会去伊斯灵顿的埃塞克斯路图书馆，靠着图书馆里的资料自学大脑的工作原理，这样的平淡日子过了两年后，辛顿通过发表论文和参加学术会议，重新折腾回学术圈，这大概是辛顿“逆反”的教育心态的第一次体现。从 1972 年开始，辛顿从一个木匠重新变回一位学者，进入爱丁堡大学攻读博士学位，而且师从大化学家克里斯多弗·希金斯（Christopher Higgins，1923—2004）教授，他选择的研究方向自然是神经网络。

说起希金斯，他绝对是一位大牛，不仅自身学问做得好，而且教书育人也很有一套，他的学生里不乏化学家约翰·波拉尼（John Polanyi，1929—）、理论物理学家彼得·希格斯（Peter Higgs，1929—）这样的诺贝尔奖得主，但是在神经网络这个问题上，希金斯的观点却和当时大多数其他传统学者的观点相似，认为神经网络现在不堪大用，日后也没什么前途可言。毕竟当时人工智能正处于冰河时期，这个想法也是可以理解的。

可能导师的看法与自己的不一致，又一次激发了辛顿灵魂中的逆反基因，他几乎在每周的讨论上都与导师发生激烈的争辩，一次次的争辩丝毫没有削弱辛顿对神经网络的信心，反而令他对神经网络是未来人工智能的关键所在这一点更加深信不疑。他一次又一次地对希金斯说：“给我一段时间，我会证明给你看的。”希金斯倒也不愧为学术大家和教育大家，尽管一点都不看好神经网络的前途，但仍然同意了辛顿的一次次尝试，并尽导师的责任给予了最大的指导和帮助。1975 年，虽然辛顿还没有获得明显的成就，但希金斯仍然同意授予他“人工智能博士”学位。

242

第三部分 第三波高潮

7.4 复兴之路

自从中学时代迷上探索人类大脑记忆与思考的奥秘，辛顿就再也没有动摇过自己的梦想。自从博士时代定下研究的课题，辛顿追求的目标也一直没有改变过，从来都是致力于使用人工神经网络让计算机去模拟人类大脑的存储和思考。这个目标在当时已经被普遍认为不切实际，几乎算得上和“研究炼金术”差不多，甚至连他的导师希金斯都判断这是一项没有前途也没有结果的研究。

辛顿有着一颗逆反之心，从来就不是一个循规蹈矩的学者，但他肯定是一位十分理智且务实的学者，他十分清醒地认识到自己所面对的是一个目标极为宏大又不被大众认可的研究课题，明白学术理想上可以志存高远，但真正做研究时必须脚踏实地。虽然我们知道后来辛顿在谷歌公司参与并领导世界上最著名、最大规模的人类大脑模拟项目—“谷歌大脑”项目，使用超大规模计算机集群，通过神经网络技术去模拟人类大脑的神经元工作，但是在当时的那个时间点，他首要解决的问题并不是研究神经网络如何实现一个机器大脑，而是解决神经网络本身的“生存”问题，这个问题的根源很明确，概括起来便是明斯基《感知机》一书中所写的这句话：

“多层感知机不会有发展前景，因为世界上没人可以将多层感知机训练得足够好，哪怕是令它学会最简单的函数方法。”

神经网络在当时面临的最大问题就是网络深度稍增，便没有了可用的训练方法，无法在深度上扩展的神经网络，确实是没有什么发展前景的技术。

7.4.1 生存危机

明斯基拥有图灵奖得主、人工智能缔造者的耀眼头衔，这使得他撰写的《感知机》很容易就让学术界的大多数人相信，单层神经网络的表达能力是十分有限的，连“异或”这样的基础分类问题都解决不了，实在是不堪大用。而多层神经网络“也许”能够解决表达能力受限的问题，却又陷入根本无法训练的困境。简而言之，不论单层感知机还是多层感知机，或者说不论单层还是多层的神经网络，都是最糟糕的学术异端，只有死路一条。

第 7 章 深度学习时代

243

单层感知机的能力不足是被明斯基用数学严格证明的，这确实是板上钉钉、谁也无法翻案的事实。要摆脱神经网络的困境，只剩下从训练多层神经网络这个方向上突破这一条途径了。站在今天回望，我们当然已经知道多层神经网络肯定不是无法训练的，可是那时候的主流学者并不这样乐观，麻省理工学院的教授伯纳德·威德罗（Bernard Widrow，1929—）当时曾写道^○一：

“他（指罗森布拉特）总结了几百位谨慎研究人员的经验，尝试找出训练多层感知机的办法，却徒劳无功。也曾有过希望，比如他提出所谓的 Back Propagation 算法^○二，以及一些学者表示过应该考虑将最小二乘法作为训练神经网络的一种方式，但都没有讨论到具体操作细节，譬如该怎样求导等问题，人们无法对这些方法抱有太大期望。”

训练多层神经网络这件事情到底有多难，以至于将一群精英学者挡在门外，演变成神经网络的生存危机的？经过前面基础知识的铺垫，我们已经可以尝试自己去回答这个问题了。

神经网络是机器学习众多算法、模型中的一种，在第 6 章讲机器学习时，我们面向的是全部的统计学习方法，并未局限于任何特定的模型和算法，换言之，统计学习的所有步骤和思路对训练神经网络都是有效的。因此，我们要训练一个神经网络，同样应该先考量神经网络的输出和真实结果之间的误差，然后选择恰当的损失函数来表示误差，再根据梯度下降等优化算法，一步一步修正神经网络的权值参数，最后得到能拟合真实结果的神经网络模型。而在这些步骤中，优化模型这一步就遇到了巨大的困难。

对于单层神经网络而言，因为它只有一个输入层和一个输出层，输出层的输出值与实际值之间的误差是显而易见的，所以我们要得到模型的权值参数，直接对损失函数求导然后应用梯度下降算法优化即可^○一。可是应用在多层神经网络情况就复杂多了，由于有了中间隐层的存在，它作为下一层神经元的输入，是通过逐层传递到输出层之后，才间接地影响模型的输出结果的。每一个隐层神经元的输出都不是神经网络的最终输出值，不能直接拿来和实际值进行比较，这样就没有办法直接通过对损失函数求导得到梯度来计算出每个隐层的每个神经元的权值参数了。

244

第三部分 第三波高潮

○一 资 料 来 源：http://www.andreykurenkov.com/writing/ai/a-brief-history-of-neural-nets-and-deep-learning/。

○二 这与我们稍后要说的“误差反向传播”算法名字类似，但并非同一个算法。