$$
\frac { \partial E } { \partial x _ { j } } = \sum _ { k } \frac { \partial E } { \partial x _ { k } } \cdot \triangledown \partial ^ { \prime } ( s _ { k } ) w _ { j k }
$$
为了增加网络深度，并且去掉无关因素的干扰，我们不妨以一个每层只有一个神经元的四层神经网络（图中省略了输入层节点）为例，如图 7-20 所示。
根据误差反向传播算法，每一个隐层的梯度值都依赖于它后面一层的计算结果，如此重复迭代，对于第一个隐层，它的梯度就依赖于其后所有层的计算结果。对于如图 7-20 所示的神经网络，分析误差经过四层传播后的情况，根据前面推导出的公式，输入层导数 $\frac { \partial E } { \partial x _ { 1 } }$ 应是输出层导数 $\cdot \frac { \partial E } { \partial x _ { 4 } }$ 乘以每一层权值和激励函数的导数的乘积，即以下式子所示：
$$
\frac { \partial E } { \partial x _ { 1 } } = \frac { \partial E } { \partial x _ { 4 } } \cdot \triangledown \partial ^ { \prime } ( s _ { 4 } ) w _ { 4 } \cdot \triangledown \partial ^ { \prime } ( s _ { 3 } ) w _ { 3 } \cdot \triangledown \partial ^ { \prime } ( s _ { 2 } ) w _ { 2 } \cdot \triangledown \partial ^ { \prime } ( s _ { 1 } ) w _ { 1 }
$$
由于权值 w 是随机初始化的，梯度消失问题是否会出现关键就在于它与激励函数导数 $\partial ^ { \prime } ( s )$ 的乘积是不是一个持续小于 1 的数。前面提到，为了可以应用链式法则，必须要求激活函数具备可微性，所以辛顿最初采用了与 UnitStep函数良好近似又可微的 Sigmoid 函数作为激励函数，如图 7-21 所示。可能也是这个原因，从 1986 年到 2010 年以前，即从误差反向传播算法提出一直横跨到深度学习时代的初期，大家普遍采用 Sigmoid 函数作为激活函数。
Sigmoid 函数的解析式是 $y = \frac { 1 } { \mathrm { e } ^ { - x } + 1 }$ ，对这个函数求一阶导数后的图像如图 7-22 所示，可见在零值时函数取得最大值 0.25，即 $\partial ^ { \prime } ( x )$ 的最大值为 0.25。
278
第三部分 第三波高潮