在图10-4（颜色请参看下载包中的相关文件）所示的模型中，我们添加了一个表示中间值的“隐藏层”。隐藏层中的每个黄色节点（中间层）均是蓝色输入节点（最下面一层）值的加权和。输出的是黄色节点（中间层）的加权和。
此模型是线性的，因为其输出仍是其输入的线性组合。在图10-5所示的模型中，我们又添加了一个表示加权和的“隐藏层”。
此模型仍是线性的。当你将输出表示为输入的函数并进行简化时，只是获得输入的另一个加权和而已。该加权和无法对图10-2中的非线性问题进行有效建模。因为即便我们添加任意多的分层，所有线性函数的组合依然是线性函数。因此，我们要从其他方面着手。所谓的从其他方面着手，也就是说，我们需要添加非线性函数。
10.1.2 激活函数
要对非线性问题进行建模，我们可以直接引入非线性函数。这种非线性函数可位于任何小的隐藏式节点的输出中。我们可以用非线性函数将每个隐藏层节点像管道一样连接起来。在图10-6所示的模型中，在“隐藏层1”中的各个节点的值传递到下一层进行加权求和之前，我们采用一个非线性函数对其进行了转换。这种非线性函数称为激活函数。
第10章 神经网络
309