如图10-17右图所示，根据数据自动学习网络的权重，以便让所有输入xinput的预测输出Youtput接近目标Ytarget。为了衡量与该目标的差距，我们使用了一个误差函数E（见图10-17右图的右上端）。常用的误差函数是：
$$
\begin{array} { r } { E ( y _ { o u t p u t } , y _ { t a r g e t } ) { = } \frac { 1 } { 2 } ( y _ { o u t p u t } - y _ { t a r g e t } ) ^ { 2 } } \end{array}
$$
针对图10-17，我们首先看一下什么是正向传播（即从图的底部往上看）。取一个输入样本 $( x _ { i n p u t } , y _ { t a r g e t } )$ ，并更新网络的输入层。为了保持一致性，我们将输入视为与其他任何节点相同，但不具有激活函数，所以：
$$
y _ { 1 } = x _ { i n p u t }
$$
然后，更新第一个隐藏层。我们取上一层节点的输出y，并使用权重来计算下一层节点的输入x，即：
$$
x _ { j } = \sum _ { i \in i n ( j ) } w _ { i j } y _ { i } + b _ { j }
$$
有了上面公式中的x值之后，更新第一个隐藏层中节点的输出。为此，我们使用激活函数
第10章神经网络
321