人工智能时代：破解人机共存密码（套装共10册）

在霍普菲尔德网络中，每个单元都能向网络中所有其他的单元传递输出。输入标记为x ，输出标记为y 。连接的强度，或者说单元之 $X _ { \mathrm { { i } } }$ $J _ { \mathrm { j } }$ 间的权重是对称的： $W { \bf i } { \bf j } ^ { = } W { \bf j } { \bf i }$ 。在每个步骤中，其中一个单元被更新为输入值的总和，并和一个阈值进行比较：如果输入之和大于阈值，输出就是1，否则输出就是0。霍普菲尔德展示了这种网络存在一个能量函数，它不会随着网络中单个单元的逐次更新而增长：

$$
E { = } \Sigma ~ \mathrm { ~ w _ { i j } ~ } \mathrm { ~ x _ { i } ~ } \mathrm { ~ x _ { j } ~ }
$$

最终，霍普菲尔德网络会达到“吸引子状态”，即所有单元值不再变化，能量方程达到局部最小值。这种状态等同于存储好的记忆，可以通过部分存储好的状态来初始化网络，实现对完整记忆的恢复。这就是霍普菲尔德网络实现内容取址记忆的方法。所存储向量的权重可通过赫布突触可塑性（Hebbian synaptic plasticity）得到：

$$
\Delta \mathrm { \ w _ { i j } } \mathrm { = } \ a \mathrm { x _ { i } \ x _ { j } }
$$

$\Delta \mathrm { \ m } _ { \mathrm { i j } }$ 表示权重的变化，α表示学习速率， $X _ { \mathrm { { i } } }$ 表示存储的向量。

该图由戴尔·希斯（Dale Heath）绘制。

玻尔兹曼机

在霍普菲尔德网络中，模拟退火相当于对更新进行“加热”，这样能量就能在能量表面自由上下。因为单元在高温下可以随机反转，如果温度逐渐降低，霍普菲尔德网络很有可能在温度为零时收敛到能量最低状态。在实际操作中，模拟会在常温条件下让网络达到平衡状态，这样网络就可以访问周围的若干状态，并且在一个更广阔的范围内搜寻可能的答案。

例如，图7–3中剪影的图案是存在争议的。这取决于你关注的是哪个部分，你可能会看到一个花瓶或两张侧脸，但不会同时看到这两种图案。问题的关键在于，你将哪部分看成图形，哪部分看成背景。我们设计了一个玻尔兹曼机网络来模仿这个基于图形—背景的决定（figure-ground decision），^[15]用一些单元代表被关注的图形，其他单元代表图形的边缘。我们已经知道，视觉皮层中存在由边缘激活的简单细胞，但是图形可能位于边缘的任意一侧。我们的玻尔兹曼机网络通过两组边缘单元实现了图形选择，每组单元只支持一侧的图形。这类神经元随后在视觉皮层中被发现，被称为“边界归属细胞”（border-ownerships cells）。^[16]

玻尔兹曼网络中的约束可以通过手动设置权重来实现（图7–4）。在图形单元之间存在兴奋连接，而在边缘单元之间存在着抑制连接。边缘单元与它们所指向的图形单元之间存在兴奋性连接，能够支持图形单元，并与相背离的图形单元间形成抑制性连接。^[17]注意力是通过对一些图形单位产生偏倚（bias）而实现的。当玻尔兹曼网络对单元使用霍普菲尔德更新规则时，它会落入局部能量最小值，这些局部能量最小值在本地图块中一致，但在全局上并不一致。当更新中加入了噪声时，玻尔兹曼网络可以跳出局部最小值，并且通过缓慢退火降低噪声温度，这样一来网络的能量函数就可能得到全局一致的能量最小值（见图7–4）。由于更新是异步和独立的，因此网络可以由具有数百万个单元并行工作的计算机来实现，并且可以比一次按顺序执行一个操作的数字计算机更快地收敛到解决方案中。

图7-3 模棱两可的图形—背景问题。（左图）如果关注黑色图形，你看到的是一个有白色背景的花瓶。如果关注的是白色背景，那你会看到两张互相注视的脸。你可以来回变换视角，但是做不到同时看到两种图案。（右图）图形—背景网络模型。两种单元分别代表了物体的边缘（线段），和某个像素是否属于图形或者背景（方块）。图像输入方向为从下到上，注意力输入方向是从上到下。其中，当某个区域应该被当作图形而进行填充时，注意力就是针对该区域所产生的偏倚。图片来源：P. K. Kienker, T. J. Sejnowski, G. E. Hinton, and L. E.Schumacher,“Separating Figure from Ground with a Parallel Network,”Perception 15(1986): 197–216, left: figure1; right: figure 2。

那个时候，我已经在哈佛医学院的斯蒂芬·库夫勒那里完成了博士后研究，在约翰·霍普金斯大学（位于巴尔的摩市）生物物理系开始了我的第一份工作；杰弗里·辛顿在卡内基–梅隆大学（位于匹兹堡市）计算机科学系担任教职，在那里他很幸运地得到了艾伦·纽维尔的支持，艾伦对人工智能的新方向持十分开放的态度。匹兹堡和巴尔的摩离得很近，所以杰弗里和我可以在周末见面。我们将这一霍普菲尔德网络的新版本称为“玻尔兹曼机”，以致敬19世纪的物理学家路德维希·玻尔兹曼（Ludwig Boltzmann），他是统计力学的创始人。我们的波动性神经网络模型就是借助统计力学的工具进行分析的，之后我们很快就发现，该模型也是一个强大的学习机器。

在恒定的“温度”下，玻尔兹曼机会达到平衡。在平衡状态下会发生一些神奇的事情：多层神经网络学习的大门将被打开。而此前，每个人都认为它的存在有弊无利。有一天，杰弗里给我打电话，说他刚刚从玻尔兹曼机衍生出一个简单的学习算法。该算法的目标是执行从输入单元到输出单元的映射。但与感知器不同的是，玻尔兹曼机在输入和输出层之间也存在一些单元，我们称之为“隐藏单元”（见方框7.2）。通过对其呈现输入—输出对和应用学习算法，玻尔兹曼网络学会了实现目标映射。但是，其目标不仅仅是要记住输入—输出对，也要将没有被用于训练网络的新输入正确地进行分类。此外，玻尔兹曼机也在通过其持续不断的波动状态来学习概率分布——对于一个给定的输入模式，每个输出状态的访问频率如何——这就使其具备了生成性：学习之后，它可以通过钳制每个输出类别来生成新的输入样本。

赫布理论

令人惊讶的是，玻尔兹曼机学习算法在神经科学领域有着悠久的历史，可以追溯到心理学家唐纳德·赫布（Donald O. Hebb）博士，他在《行为的组织》一书中假定，若两个神经元同时被激发，它们之间的突触连接应该会增强：

7.2玻尔兹曼机

和在霍普菲尔德网络中一样，玻尔兹曼机中所有的连接都是对称的，并且其中的二进制单元i的状态值 $s _ { \mathrm { i } }$ ，会按照上图中的Sigmoid函数（sigmoid function）提供的一个概率，逐个被更新成1或0。Sigmoid函数的输入值∆E通过温度T来进行比例缩放。输入层和输出层都是“可见的”，也就是说它们会与外界进行交互。“隐藏单元”代表了能够影响可见层单元的带有内部自由度的特征。玻尔兹曼机学习算法有两个阶段：在“清醒”阶段，输入和输出会被钳制（clamped） ^[19]，当网络达到平衡状态后，每对单元状态值之间的相关系数会被计算出来；在“睡眠”阶段，输入和输出钳制被解除，每对单元状态值之间的相关性会被重新计算，其中的权重会被逐步更新：

$$
\Delta \ _ { W \bf \bar { i } } \ \mathrm { j } ^ { = \ \varepsilon \ ( \langle { s _ { \bar { 1 } } } \Delta { \ s _ { \bar { \ j } } } \Delta \rangle ^ { \mathrm { w a k e } } - \langle { s _ { \bar { 1 } } } \Delta { \ s _ { \bar { \ j } } } \Delta \rangle ^ { \mathrm { s l e e p } } ) }
$$

让我们假设反射活动（或“追踪痕迹”）的持续或重复，趋向于引起持续的细胞变化来增加其稳定性。当细胞A的轴突接近细胞B，并且反复或持续地参与激发细胞B时，其中一个或者两个细胞中都会发生某种生长过程或代谢变化，A（作为激发B的细胞之一）的效率会增加。^[20]

这可能是整个神经科学领域中最有名的预言。后来在海马体中发现了赫布突触可塑性（Hebbian Synaptic Plasticity），海马体是大脑中控制长期记忆的重要组成部分。当一个海马锥体细胞接收强输入信号，同时该神经元也发生了放电反应时，突触的连接强度就会增加。随后的实验表明，这种强化是基于突触的发射器释放与受体神经元中电压升高的结合。此外，这种结合的发生被一种特殊的受体，即NMDA（N–甲基–D–天冬氨酸）谷氨酸受体所识别。它触发了长时程增强（long-term potentiation，简称LTP），其起效迅速而且持续时间长，是一种很好的长期记忆基质。与玻尔兹曼机学习算法（见方框7.2）十分相似，突触上的赫布可塑性是由输入和输出之间的一致性决定的。

更令人惊讶的是，玻尔兹曼机需要一定的“睡眠”才能学习。它的学习算法有两个阶段。在第一阶段，即“清醒”阶段，随着输入和输出模式被钳制到期望的映射，网络中的单元被多次更新以达到平衡，每对单元都为1的次数所占的百分比会被记录下来。在第二阶段，即“睡眠”阶段，输入和输出单元被释放，每对单元在自由运行状态中都为1的次数百分比也被记录下来。然后，每个连接强度按照清醒和睡眠阶段一致率之间的差异，按比例进行更新（见方框7.2）。睡眠阶段的计算是为了确定钳制的相关性中哪个部分是由外部原因造成的。在不去除内部产生的相关性的情况下，该网络会加强内部活动模式，并学习忽略外部的影响，这是二联性精神病（folie à deux） [21] _的网络版本。有趣的是，极度的睡眠剥夺会导致人体处于妄想的状态，在没有窗户和恒定照明的医院重症监护病房中，这样的问题并不罕见。精神分裂症患者通常患有睡眠障碍，可能导致他们患上妄想症。这使我们确信，我们正沿着正确的方向理解大脑的工作原理。

学习识别镜像对称

玻尔兹曼机可以解决，但感知器却不能解决的一个问题，就是如何学习镜像对称。^[22]人体是沿着一个垂直的轴两边对称的。我们可以用这个对称轴生成大量随机图案，如图7–5所示，也可以采用水平轴和对角轴对称。在我们的玻尔兹曼机网络中，按照10×10排布的若干块二进制输入被投影到16个隐藏单元中，然后再投影到3个输出单元，每个输出单元对应3个可能的对称轴中的一个。在接受了6000个对称输入模式的训练后，玻尔兹曼机对全新输入的对称轴进行分类的成功率为90%。感知器得到的结果不会比随机猜测的结果好，因为单一的输入并不包含关于模式对称性的信息，必须对输入对之间的相关性进行考察。值得注意的是，人类观察者看到的输入阵列与玻尔兹曼机所看到的并不一致，因为玻尔兹曼机的每个隐藏单元都从整个阵列接收输入，并不遵循任何特定的顺序。对于观察者来说，等价的问题是要随机安排阵列中输入单元的位置，这会使阵列在观察者看来是随机的，即使其中存在隐藏的对称性。