“深度学习”这个词听起来很酷，但其实是辛顿无可奈何的变通产物，因为当时很多杂志期刊只要发现稿件的标题中包含“神经网络”这个词就会拒稿。如果读者有兴趣翻看 2006 年以前电气电子工程师学会（Institute of Electrical andElectronics Engineers，IEEE）和机器学习国际会议（International Conferenceon Machine Learning，ICML）的各种学刊的话，将会发现几乎没有任何一篇文章的标题包含“神经网络”这类字眼。ICML 的编辑公开宣称“ ICML 不应该接受神经网络的文章”这样的言论，IEEE 期刊也有“不被接受的文章”的官方准则，里面就有“神经网络”。可见，2006 年之前“神经网络是歪理邪说”这样的信念真的非常强烈，因此辛顿不得不使用“深度学习”的概念来重新包装多层神经网络，让论文得以刊登。
在这篇论文里，辛顿提出了一个称为“深度信念网络”（Deep Belief Network，DBN）的全新的生成式神经网络模型。深度信念网络诞生的最大意义不在于它本身能够做什么，而在于它成功地将无监督学习引入了神经网络的训练过程中。此前神经网络在训练初始化时，网络的所有权值都是随机数（详见误差反向传播算法的第一步），然后使用误差反向传播算法训练得到权值的最优解，虽然这也可以训练多层网络，但是网络的深度越深，显现出来的问题就越多，难度就越大，这是神经网络长期陷于浅层状态难以自拔的重要原因之一。稍后笔者会回过头来讨论具体有哪些困难，为什么神经网络层次越深会越难训练，现在先把问题放一下，读者暂且记着这个结论就可以了。
为了缓解深度神经网络难以训练的问题，辛顿设计了一种称为“逐层预训练”（Layer-Wise Pretraining）的方法，利用无监督的训练方式去一层一层地训练每一层的权重初始值，实践证明，这比一开始完全靠随机初始化方法在效果上要好得多。
有了无监督学习逐层预训练方法的帮助，我们只需要在网络训练的后半阶段对机器进行干预，为更理想的结果添加标签，对正确的结果给予激励。虽然逐层预训练被实践证明运作得相当不错，但与神经网络这个领域的大量其他技巧类似，辛顿也没有给出严格的数学证明来说明它一定优于传统的随机初始化方法。辛顿自己解释了其中的原理，他认为逐层预训练的过程就像是：
270
第三部分 第三波高潮