此外还有计算可行性方面的困难，神经网络每增加一个隐层，都会导致神经元连接数量的快速增长。通过第 4 章的学习我们知道，神经网络最后的输出值是由所有流经它的连接路径汇集，然后把连接路径上权值的加权和放到激活函数中运算得出的。每一条路径上的神经元权值都会对结果产生难以估量的影响，各神经元权值不能孤立地训练，但是如果每一组训练数据都牵涉全部可能的路径组合的话，这里面涉及的计算量就太大了，不要说当时，就算是今时今日的计算机硬件也难以直接通过暴力运算来解决。
多层神经网络难以训练，除了上面列出的两个从问题本身出发所遇到的困难外，还有另外一层外部原因：从某种意义上说，困难也是由当时人工智能冰河期的寒冷的学术气氛所带来的。无论是明斯基撰写《感知机》抨击多层感知机无法训练的时候，还是罗森布拉特带着问题和遗憾去世的时候，抑或是辛顿最后重新发现了可行的多层神经网络训练方法的时候，都没有人注意到，其实早已经有人提出过一种训练方法（后来被辛顿命名为“误差反向传播”算法），该方法可以很好地解决多层神经网络的训练问题。
1969 年，斯坦福大学电子工程系教授阿瑟· 布 莱 森（Arthur Bryson，1925—）在自动化控制领域以“多级动态系统优化方法”的名字提出了与现在的误差反向传播算法思路相同的方法。到了 1974 年，哈佛大学的一位博士生保罗·韦尔博斯（Paul Werbos，1947—）再次发现了这个训练算法，他甚至意识到了此算法的价值，在论文中明确指出了该算法可以应用于多层神经网络的训练，但是这个隐藏在一篇普通博士毕业论文中的重要成果没有得到应有的重视，后来连韦尔博斯自己也没有再继续这方面的任何研究了。在多年之后的一
第 7 章 深度学习时代
245
○一 对这部分仍存有疑问的读者，请参考第 6 章的相关内容。