“激活函数”（Activation Function，也常被译为“激励函数”）的作用就是给神经网络加入非线性的表达能力，它改进了阈值函数只能单纯比较大小来判断是否激发神经元信号的简单逻辑，允许根据实际需要，对输入的加权和进行不受限制的数学处理。图 7-3 列举了一些常见的激活函数，根据阈值函数的特性，我们可以认为多层感知机没有激活函数概念，也可以将它看成是采用了线性函数“UnitStep”（阶跃）作为激活函数的一种特殊神经网络。
今天在各种问题上被广泛应用的神经网络，基本都不再继续采用 UnitStep函数了，除了线性函数表达能力受限外，还有一个主要原因是 UnitStep 函数并不是一种可微函数<sup>○一</sup>，稍后我们会介绍，误差反向传播算法的理论基础是微积分里经典的“链式法则”，它被用来根据后面的网络输出的结果计算前面一层隐层的导数。由于链式法则本身决定了被训练网络的激活函数必须具备可微性，因此，即使原本用到 UnitStep 函数的场景，也一般会使用可微的 Sigmoid 函数来代替不可微的 UnitStep 函数。图 7-4 展示了这两种函数的图像，从中可以轻易地看出两个函数的异同之处。
248
第三部分 第三波高潮
○一 图 片 来 源：https://stats.stackexchange.com/questions/263768/can-a-perceptron-with-sigmoidactivation-function-perform-nonlinear-classificati/263816。