对于那些能够描述清楚特征与结果关系的问题，其他浅层学习模型<sup>○一</sup>也几乎都能够处理，如果仅仅能够处理这类简单的问题，神经网络就完全没有任何优势可言，几乎所有浅层神经网络的应用都能找到更优的代替品。
到 20 世纪 90 年代，各种新的基于统计的机器学习方法开始兴起，许许多多崭新的浅层机器模型相继被提出，例如支持向量机（SVM）、提升算法（Boosting）、最大熵方法（以 Logistic Regression 为代表）等。这些模型的结构基本上都可以看成带有一层隐层节点（如 SVM、Boosting）或者没有隐层节点（如 Logistic Regression）的特定形式的神经网络。由于这些浅层模型无论是在理论分析还是实践应用中都获得了巨大的成功，而神经网络的理论分析难度大，训练方法又需要很多经验和技巧，因此浅层的人工神经网络反而慢慢落后于这些后起之秀，再次沉寂下去，基于统计的机器学习模型逐渐成为机器学习的主流。这种局面一直持续到“深度学习”概念被提出几年后才得以改变，可以说从这时开始，机器学习才正式进入深度学习时代。
第 7 章 深度学习时代
263
○一 一般将“浅层学习”称为“ Shallow Learning”，这是在深度学习“ Deep Learning”被提出之后，才反过来命名的名词。