7.6.1 卷积神经网络
卷积神经网络（Convolutional Neural Networks，CNN）可以说是深度神经网络中最有影响力的一种模型，今天它早已大名鼎鼎，从某种意义上它还是为深度学习打下大好江山的“第一功臣”。卷积神经网络同时也是一个计算机科学从脑神经科学借鉴并获得成功的很好的例子，它的思路与人脑和视觉系统分层抽象识别物体的过程十分相似。卷积神经网络最初诞生是为识别高分辨率的图片提供良好的解决办法，在第 4 章里给出了一个字符识别的例子，用了两层分别是 196 个和 10 个神经元的浅层网络去识别 196（14×14）像素分辨率的图片中的数字符号。可是读者不妨设想一下，现在就连手机摄像头拍出来的照片都是动辄上千万像素的，如果要识别这种图片，那每一层的神经元就得上千万，两层之间做全连接的话，则有 100 万亿个权重值需要计算，若在中间再多加上几层隐层的话，再强大的超级计算机也支撑不住。既然人类肯定不是在像素层面去认知物体的，计算机当然也不应该直接对着像素硬来，所以，模仿人类分层识别的认知，以及识别大分辨率的图片，就是卷积神经网络要解决的两个问题。
1980 年，日本广播协会基础科学研究所的福岛邦彦（Kunihiko Fukushima）受到休伯尔和威泽尔的“小猫视觉实验”（见 7.5.1 节）的启发，提出了“新认知机”（Neocognitron）的设想，“新认知机”中就包含了很多现代卷积神经网络的要素，如卷积、池化等。
1989 年，杨立昆发表了一篇名为《反向传播算法在手写邮政编码识别中的应用》（“ Backpropagation Applied to Handwritten Zip Code”）的论文，把新认知机中的概念与辛顿的误差反向传播算法结合到一起，正式提出了卷积神经网络。这篇论文基本上是现在业界所认可的卷积神经网络的开端，所以大家认为杨立昆是卷积神经网络的缔造者。
到了 1998 年，杨立昆又发表了另一篇论文《基于梯度的学习方法在文档识别中的应用》（“Gradient-Based Learning Applied to Document Recognition”），他设计了一个名为 LeNet-5 的神经网络，LeNet-5 网络是卷积神经网络的第一个具有影响力的完整实现，今天很多卷积神经网络的入门资料都以 LeNet-5 网络作为例子进行讲解。图 7-25 是广为流传的 LeNet-5 网络结构，来自杨立昆的《基于梯度的学习方法在文档识别中的应用》这篇论文。LeNet-5 麻雀虽小，却五脏俱全，卷积层、池化层、全连接层这些卷积神经网络的核心元素都是在此论文中明确定义出来的。
292
第三部分 第三波高潮