除了非线性和可微性之外，激活函数一般还要具备单调性，这是因为如果激活函数是单调的，那么使用这个激活函数的单层神经网络就能够保证等价于某个凸函数，我们前面介绍机器学习训练过程时曾经提到，凸函数是相对易于优化的。当然，现在非凸优化已成为神经网络的一个前沿热点，但是在相同性能下，尽量避免非凸函数仍然是值得推荐的。
相对于现在深度学习中卷积网络、循环网络、长短期记忆网络等各种类型的神经网络模型，全连接前馈网络是一种较为简单的多层神经网络。然而，即使是这种简单的神经网络，即使仅使用一个隐层，也已经具有相当强大的表达力了。数学上已有定理证明，即使只有一个隐层的前馈神经网络（其中用作证明的例子就是多层感知机），也同样具备了模拟任何函数图像的强大表现能力<sup>○二</sup>。误差反向传播算法最初提出的目标，就是面向这种多层前馈神经网络，给出一种计算量在可接受范围内的训练机制。辛顿在 1986 年的论文中，将这种可被误差反向传播算法训练的前馈全连接神经网络称为“反向传播神经网络”（即“ Back Propagation 神经网络”或者“ BP 神经网络”）。今天误差反向传播算法可应用的范围已经拓展至大量其他形式的网络模型上，但这个命名沿用了下来，以指代前馈全连接神经网络。
第 7 章 深度学习时代
249
○一 在微积分中，可微函数是指那些在定义域中所有点都存在导数的函数。可微函数的图像在定义域内的每一点上必存在非垂直切线。因此，可微函数的图像是相对光滑的，没有间断点、尖点或任何有垂直切线的点。
○二 稍后介绍深度学习还会提及这是一个纯粹“理论上”的结论，要表达同样的函数，减少网络的层次可能会使所需的神经元数量呈指数级增加，因此，目前主流的方法是采用层次更多（更深）的模型来实现。