“想象一下小孩子，当他们学着辨认牛时，并不需要去看几百万张妈妈标记上‘牛’的图片，他们仅仅是学习牛的样子，然后询问‘这是什么？’，妈妈会说‘这是一头牛’，然后他们就学会了，深度学习就应该类似这样。”
辛顿提出的深度信念网络的每一层都是用“受限玻尔兹曼机”（RestrictedBoltzmann Machine，RBM）堆叠组成的。受限玻尔兹曼机也是辛顿得意的发明之一，它是一种统计力学里的“玻尔兹曼分布”的概念机器，形式上如图 7-17 所示，由分别称为“隐藏单元”和“可见单元”的两层以及它们之间的无向连接所构成，这里的无向连接是指两层之间的连接没有方向，或者说它们之间的连接是双向的（其实深度信念网络只允许顶层的 RBM 是双向连接），但同一层之间不允许连接，所以叫作“受限”。辛顿把多个受限玻尔兹曼机堆叠起来，让前面受限玻尔兹曼机的隐藏单元作为后面受限玻尔兹曼机的可见单元，构成了深度信念网络。
受限玻尔兹曼机本身就是一种基于概率模型的特征学习器，辛顿使用它来对输入数据进行预训练，在逐层预训练完成之后，神经网络每一层连接的权重就都被初始化了，这种初始化方式比原本纯粹随机的初始化有效。在这些初始化的权重值的帮助下，对于具有相同特征的样本，神经网络更倾向于给出相近的输出，这样更便于后续神经网络自己发现重要的特征。这就好比说：“咦？这两个东西长得好像啊，虽然我不知道它们是什么，但我不妨先把它们放到一块吧。”等到后面进行有监督的训练时，我们就会告诉神经网络这个东西叫作“萨摩耶”，然后神经网络就会推断说：“哦，原来那一群长成这
第 7 章 深度学习时代
271