$1 / ( 1 + e ^ { \wedge } - Z )$ 。这个过程可以用图7-3表示，其中 $\mathbf { X } _ { 1 }$ ${ \bf X } _ { 2 } .$ ${ \bf X } _ { 3 }$ 为输入变量，也是我们数据集中的特征，将它们线性组合得到一个数值，再对这个数值进行sigmoid函数变换，得到yhat，从而可以预测实际的 ${ \tt y }$ 9
逻辑回归模型本质上是一个浅层神经网络（ShallowNeuralNetworks）。这里它只有输入层和输出层。输入层经过线性组合，然后被施加一个函数，这里把这个函数叫作激活函数（ActivationFunction），随后得到输出层的结果。我们把它暂时称为“简单结构”。如果我们在输入层和输出层之间加入中间层，那么一个严格意义的神经网络就形成了，如图7-4所示。
这个模型与图7-3相比，在输入层和输出层之间多了一个隐藏层（HiddenLayer），这个隐藏层有三个神经元，它们在结构图中作为节点与前一层（输入层）的节点 $( \mathbf { \boldsymbol { x } } _ { 1 } , \mathbf { \boldsymbol { x } } _ { 2 } , \mathbf { \boldsymbol { x } } _ { 3 } )$ 通过有向线段两两相连。听起来复杂，如果我们把中间三个神经元分开来看，每一个神经元与上一层都有如图7-5所示的关系。
这三张图的形式与逻辑回归模型图的形式完全相同。 $\mathbf { X } _ { 1 } , \ \mathbf { X } _ { 2 } , \ \mathbf { X } _ { 3 }$ 通过一定的权重比例线性组合，得到一个新的数，然后这个新的数被施加一个激活函数，得到一个输出值（虽然图中没有表现出施加函数的过程，但实际上是有的）。中间层实际上就是三个“简单结构”并行运行出来的结果，并将得到的三个结果存储在中间层神经元中，然后作为新的输入变量传给下一层。这里三个“简单结构”并行运行，并不是把一个过程重复三次。虽然数据变量都是一样的，但每个结构中线性组合的权重（也就是参数）是不一定相同的。因此，三个神经元的数值是不一样的。将得到的三个数值作为输入变量传递给下一层，这个过程如图7-6所示。
第7章 深度学习
195