7.5.3 序幕开启
2006 年被认为深度学习时代的元年，深度学习时代序幕的开启是以辛顿在这一年发表的两篇论文为标志的。第一篇论文是辛顿和他的学生拉斯·萨拉克赫迪诺弗（Ruslan Salakhutdinov）在美国著名的《科学》杂志上发表的，名为《通过神经网络进行数据降维处理》（“ Reducing the Dimensionality of Data withNeural Networks”）。这里“数据降维”的方法即用神经网络自动进行特征选择和提取，此文实质性地开创了“深度学习”这个机器学习的新分支，不过“深度学习”这个名词却不是在这篇论文中提出的，早在 20 年前就曾经出现过。然后，辛顿在同一年发表的第二篇论文《一种基于深度信念网络的快速学习算法》（“ A Fast Learning Algorithm for Deep Belief Nets ”）再次对“深度”这个词进行了定义和包装，使“深度学习”变得火爆起来。辛顿这两篇论文共同论证了以下两个主要观点：
1）论证了多隐层的人工神经网络具有优异的、自动化的特征学习能力，与人类手工建立的特征相比，通过网络自主学习得到的特征对数据有更本质的刻画，更有利于可视化或分类。
2）提供了一个具体可操作的训练方案，深度神经网络在训练上的难题，可以通过逐层预训练（Layer-Wise Pretraining）方法来有效克服。
之所以学术界、工业界把论文《通过神经网络进行数据降维处理》定性为深度学习的开山之作，不仅是因为它以多层神经网络为工具载体，引出了深度学习的概念框架，更是因为它清晰地描绘出了深度学习相对于传统浅层学习的两个很有价值且十分具体的优势。
第一个优势是表示能力。此前，包括单层神经网络在内的多种以分类、回归为代表的浅层学习算法，在有限样本和计算单元的情况下，对复杂函数的表示能力仍显不足。这里的表示能力不足是指工程意义上的实践结论。虽然在纯理论上“泛逼近性原理”（Universal Approximation Theorem）<sup>○一</sup>保证了单层神经网络具有在封闭的实数域拟合任意函数的能力，证明了浅度的神经网络在“理论上”可以学习任何函数，不过这个结论是以无穷无尽的神经元为支撑的，在实践中，我们不可能无视神经元数量带来的运算压力。
264
第三部分 第三波高潮
○一 https://en.wikipedia.org/wiki/Universal\_approximation\_theorem。