7.5.2 从浅层学习到深度学习
1986 年，辛顿发明误差反向传播算法，给使用神经网络来实现的机器学习方法注入了新的希望。但出乎意料的是，这件事并没有促成神经网络就此复兴再度发展。从 20 世纪 90 年代开始，机器学习领域反而掀起了一股研究其他统计学习方法的热潮，此热潮一直持续至今仍未衰退，现在机器学习的教科书中，基于统计学习的模型和算法仍然占很大的篇幅。为何会出现这样的现象呢？
误差反向传播算法虽然在理论层面上解决了如何训练多层神经网络的问题，使多层神经网络能够从大量训练样本中学习到规律，对新样本做出决策，对未知事件做出预测，但这只是做到让人们不再说类似“神经网络是死路一条”的话而已。当时的计算机还不能处理实际应用中庞大的训练样本，缺乏卓有成效的应用案例，很难彻底扭转人们心里认为神经网络没有前途的观念。辛顿在一次采访中发出了这样的感慨：
“追溯到 1986 年，我们首次开发出误差反向传播算法，我们因其能学习到多层的特征而感到兴奋，我们认为已经解决了这个问题。但在解决实际问题中却没有出现大的突破，这非常令人失望，我们完全猜错了需要的计算资源和标记案例数量。”
从 1986 年开始到 2006 年深度学习横空出世，长达 20 年的时间里，人工神经网络的实践应用确实乏善可陈，即使用到神经网络，也大多只是含有一层隐层的三层网络模型而已。人们不愿意用更深的神经网络，深度增加会带来更大的训练难度且需要更大量的训练数据当然是原因之一，但回顾历史，可能更重要的原因是神经网络在这段时间里一直没有找到自己的应用定位，大家并不知道什么时候和为什么要使用神经网络。
神经网络最“神奇”的地方便是只需知道输入和输出便可训练网络参数，不需要弄懂中间有什么理论和规律。使用这种“端到端”（End-to-End）的学习方法，就能得到一个能够预测其他未知数据的“黑箱”。但是这里说的“输入数据”是指那些包含且仅仅包含影响结果所有关键特征的数据，如果遗漏了关键特征，会导致预测结果的误差不能收敛，如果掺入了无用的特征，又很容易引起维度灾难，空耗运算资源。另外，“黑箱”的特点决定了神经网络只能是对真实世界规律的一种拟合模型，目前在理论分析上并没有特别强的解释性。这些天生的特点决定了以前的神经网络要完成建模，首先要做的特征选择、提取都需要依赖人的先验知识去完成。实际情况是确实有一部分应用场景能够通过人工来选择，譬如第 4 章从像素映射到字母的识别的例子，笔者曾用这个例子来说明如何建立像素到字母的特征映射关系，这是可以使用浅层神经网络解决的。但是如果要面对更复杂的实际问题，如 7.5.1 节提到的识别一个人是不是你的某个熟悉的朋友这种人脸识别，就很难再依赖人工来做特征选择了。识别图片中的物体是不是一个人，人物图片需要具备怎样的特征，并不是一件容易说清楚的事情，而这是使用神经网络处理问题的第一步，这一步解决不了的话，后面都是空谈。
262
第三部分 第三波高潮