$$
\frac { \partial E } { \partial x _ { j } } = \sum _ { k } \frac { \partial E } { \partial x _ { k } } \cdot \frac { \partial x _ { k } } { \partial s _ { k } } \cdot \frac { \partial s _ { k } } { \partial x _ { j } } { = } \sum _ { k } \frac { \partial E } { \partial x _ { k } } \cdot \triangledown \partial ^ { ' } ( s _ { k } ) w _ { j k }
$$
至此，网络中任意一个神经元的权值 $w _ { i j }$ 对整个网络输出误差的影响，都可以通过它下一层的输出值 $x _ { j }$ 、下一层的各个权值 $w _ { j k }$ 、下一层的加权和 $S _ { k }$ 这些参数计算求得，而这些参数全部都是上一轮计算过程已经计算出来的结果，可以直接运用，不需要像正向模式求导那样，重复计算每一条路径上的导数乘积之和，这就是误差反向传播算法的改进之处。
误差反向传播算法的提出，成功地解决了多层神经网络训练可行性的问题，不过，这也仅仅是神经网络复兴的第一步，距离全面复兴，走到今天深度学习的时代，还有一段漫长曲折的旅程。
7.5 深度学习
20 世纪 80 年代初，辛顿从爱丁堡大学博士毕业几年后，人工智能就迎来了它的第二次高潮。这一次高潮里，虽然连接主义学派多少获得了一些成果，如在 1982 年，约翰·霍普菲尔德（John Hopfield，1933—）提出了连续和离散的 Hopfield 神经网络模型，并采用全互联型神经网络尝试对非多项式复杂度的旅行商问题进行了求解，这个事件被认为是第二次人工智能热潮中连接主义重启的标志，但对于一直在神经网络领域默默耕耘的辛顿来说，并没有多少好时光来临的感觉。这个时代，符号主义学派才是人工智能舞台上的明星，名噪一时的专家系统、智能推理机等都属于符号主义的胜利。这一次人工智能的高潮只持续了短短几年时间，很快又进入了第二次寒冬，所有与人工智能有关的项目都再次沉寂，在高潮期没有获得多少收益的神经网络，则在寒冬期又受到以支持向量机为代表的其他新兴统计学习等方法的重创。
256
第三部分 第三波高潮