f(x),即 $\scriptstyle \mathbf { y } = \mathbf { f } ( \mathbf { x } )$ 。使用这两个公式，我们可以传播到网络的其余节点，并获得网络的最终输出(一直到最顶端)。
$$
y = f ( x )
$$
$$
x _ { j } = \sum _ { i \in i n ( j ) } w _ { i j } y _ { i } + b _ { j }
$$
10.2.2 反向传播算法
在讲解反向传播算法之前，我们先说明一下误差导数。反向传播算法会对特定样本的预测输出和理想输出进行比较，然后确定网络的每个权重的更新幅度。为此，需要计算误差相对于每个权重的变化情况 $\big ( \frac { d E } { d w _ { i j } } \big )$ 。获得误差导数后，可以使用一种简单的更新法则来更新权重：
$$
w _ { i j } = w _ { i j } - \alpha \frac { d E } { d w _ { i j } }
$$
其中， $\mathrm { a }$ 是一个正常量，称为“学习速率”，我们需要根据经验对该常量进行微调。该更新法则非常简单：如果在权重提高后误差降低了 $( \ \frac { d E } { d w _ { i j } } < 0 )$ ，则提高权重；如果在权重提高后误差也提高了 $( \ \frac { d E } { d w _ { i j } } > 0 )$ ，则降低权重。如图10-18所示，每个权重的连线上都加了误差导数。
人工智能与大数据技术导论
322