在一年之后的 ILSVRC 2016 中，获得冠军的程序依然比 ILSVRC 2015 的冠军有更深的网络层次，甚至在物体检测这些子项测试中，还夸张地出现了1207 层的深度神经网络。可是笔者也注意到了，Facebook 研究院新推出的“广残差网络”（Wide Residual Network）开始逐渐“返璞归真”，仅凭 16 层的网络深度就成功超越了前一年 152 层的残差网络所取得的成绩<sup>○一</sup>，给 ILSVRC 从2012 年深度神经网络开始参赛以来深度逐年增加的势头画了一个不和谐的向下转折的符号。
2014 年，来自 Facebook 和微软研究院的两位研究员共同发表了一篇论文《深度网络真的需要那么深吗？》（“ Do Deep Nets Really Need to be Deep?”），他们使用模型压缩的方法，用浅层神经网络去模拟一个训练好的深度神经网络，论证了对特定深度的神经网络而言，模拟它们的浅层神经网络能够表现得和它们一样好。尽管在训练数据集上浅层神经网络可能无法直接达到同样优秀的表现，但是在测试集和实际应用中却完全不逊色于深度神经网络。
今天的深度学习的有效性能够被实践应用所验证，我们可以肯定地宣告它确实做对了某些事情，才会出现这个结果。可是，当今深度学习的各种模型、算法、技巧几乎都是靠“试错”来取得的，没有足够完备的理论支持，我们就不会知道它具体做对了哪一件或哪几件事情，才让我们向智能稍微靠近了一步。如果有一天学者从理论上真正掌握了智能的奥秘，反而有可能最后找到的是一个浅层的或者一个深度不太高的网络模型。现在说的深度神经网络越深越好，大概和“头大的人比较聪明”差不多，也许从宏观的角度来看，族群的脑容量确实有可能与智力水平有正相关关系，但并不等同于这就是通向最优的钥匙。《人工智能：一种现代方法》一书的作者彼得·诺维格（Peter Norvig，1956—）曾写道：“当莱特兄弟和其他人不再模仿鸟类飞行，而是开始研究空气动力学的时候，人类对‘人工飞行’的探索才算是取得了成功。”希望我们这一代人能够在可见的未来，看到人类真正探索出智能的奥秘。深度学习在很多问题上确实获得了比浅层学习更好的效果，这一点是大家有目共睹的。不过，能否说深度学习就一定优于浅层学习？“多深”的深度神经网络才是“最优”的？距离这些问题有明确的答案还非常遥远。
276
第三部分 第三波高潮
○一 数据来源：https://arxiv.org/abs/1605.07146。