而辛顿所提出的具备更多隐层的神经网络的表示能力将会更强，具体表现为具有更多隐层的网络可以用更少的神经元节点来表示更复杂的目标函数。虽然辛顿并没有针对这个结论给出严谨的数学证明，但毋庸置疑，他已从众多实验数据的统计结果中证明了这个结论是正确的。表 7-1 是笔者引用的论文“ Conversational Speech Transcription Using Context-Dependent Deep NeuralNetworks”<sup>○一</sup>中使用不同深度的神经网络去做语音识别的实验数据，从这个对比结果可以看出，相比增加单层的神经元数量，增加网络的深度更有助于降低错误率。
图 7-12 是生成式对抗网络的发明者伊恩·古德费洛（Ian Goodfellow，1987—）所著的《深度学习》中的一张图片，古德费洛希望表明对某个特定问题，神经网络的深度越深，可以达到的拟合精确度就越高。人们已经在大量深度学习的任务中观察到了同样现象。
只有在一定数量的隐层的支持下，神经网络才既能处理复杂问题的建模，又能从得到理想拟合精确度时所需要的天文数字一般的神经元和权值中解脱出来，用当下硬件可承受的计算代价来解决实际应用问题。
第二个优势更加重要，我们已经知道，除了拟合能力和算力资源的限制外，以单层神经网络为代表的浅层学习算法的局限性在于特征选择过于依赖人类先验知识，在很多问题中，人类都难以描述清楚哪些特征对解决问题是重要的，这需要相当的工程技巧和问题领域的专业知识。依靠人类来做好特征选择并非易事，所以，深度学习能够自动找出关键特征的特性，是对应用神经网络来解决机器学习问题的极大解放，是深度学习的革命性突破。
第 7 章 深度学习时代
265
○一 Seide, Frank, Gang Li, and Dong Yu.Conversational Speech Transcription Using Context-Dependent Deep Neural Networks. Interspeech. 2011。