- 不可解释性
没有足够牢固的理论基础，所带来的直接后果是神经网络“只能知其然，而无法知其所以然”的尴尬。对于神经网络，我们知道了模型的参数，也知道了输入的数据以及如何将这些连接成网络的方式，但还是无法知道它是如何实现这一过程的。神经网络就像一个神秘的“黑箱”，它有十分神奇的功能，但是我们对它如何工作、如何推演的过程却无从知晓，这就是常说的神经网络的“不可解释性”。神经网络的不可解释性阻碍了这一技术的抽象和总结，限制了高水平认知智能的研究和发展。同时神经网络的操作对于人类来说太过抽象，我们无法很好地验证它的工作过程是否合理，但是有一点可以肯定，现在的神经网络并不符合人类一贯的科学直觉。
目前人类发现的诸多科学真理，普遍都带有简洁明了的性质，复杂如物理上的质量和能量之间的关系，可以用一个简单的质能方程 $E = m c ^ { 2 }$ 来表达，电场、磁场之间的关系可以用简洁的麦克斯韦方程组来描述清楚，数学上简单的欧拉公式 $e ^ { \pi i } + 1 = 0$ 就把三角函数和指数函数之间的关系桥接起来。类似的例子还有很多，即使是统计学和概率学这种同样面向大量数据的科学，最终也可以使用严谨简洁的方法去表达数据的内在联系。根据之前探索世界的经验，人类总是更愿意相信世界的本质应该是可以被数学所描述的，但是神经网络无疑不具备这样的性质，我们愿意相信神经网络是寻找智能道路上迈出的一大步，但如果说神经网络本身就是最终解决问题的钥匙，那确实是有违科学直觉的。
早在皮茨那个时代，神经网络概念才刚刚提出，他就已经注意到并试图解决不可解释性的问题了（指皮茨那篇被自己烧毁的试图通过概率论解决神经网络不可解释性问题的博士论文）。时至今日，这个问题依然是神经网络的前沿课题，是深度学习“任务清单”里重要程度最高的几项之一，目前学术界提出的一种思路，是希望将神经网络这一连接主义的代表性技术与符号主义相结合，因为可解释性正是符号主义的强项之一。伦敦帝国理工学院教授、DeepMind 公司科学家默里·沙纳汉（Murray Shanahan）及其团队还发表了一篇讨论深度符号强化学习的论文，试图寻找解决这一问题的方法。
308
第三部分 第三波高潮