通过在非线性上堆叠非线性，我们能够对输入和预测输出之间极其复杂的关系进行建模。下面我们来看一些常见的激活函数。S型激活函数将“加权和”转换为介于0和1之间的值。
$$
F ( x ) = { \frac { 1 } { 1 + e ^ { - x } } }
$$
曲线图如图10-7所示。
10.1.3 ReLU
相较于S型函数等平滑函数，以下修正线性单元激活函数（ReLU）的效果通常要好一点，同时还非常易于计算。
$$
F ( x ) = m a x ( 0 , x )
$$
ReLU是一种常用的非线性激活函数。如图10-8所示，它会接受线性函数，并在零值处将其截断。若返回值在零值以上，则为线性函数。若函数返回值小于零，则输出为零。这是一
人工智能与大数据技术导论
310