人工智能时代：破解人机共存密码（套装共10册）

安东尼·贝尔多年来一直对一个更加棘手的问题感兴趣。作为人类，我们的体内有许多网络，信息从一个网络层到另一个网络层，从分子到突触，到神经元，到神经群，直到形成决策，所有这些都可以用物理学和生物化学的法则来解释（见图4–4）。但我们都有这样的感受，是我们自己，而非物理或生物化学反应，在操控我们的一言一行。我们的大脑神经群中出现的内部活动如何引导我们做出决定，例如阅读这本书或者打网球，一直是一个谜。这些远远低于我们意识水平的决定，在某种程度上是由神经元通过基于分子机制的经验形成的突触相互作用形成的。但从我们人类的视角来看，是我们的决定导致了所有这些事件在我们的脑中发生：内省行为告诉我们，因果关系中的因和果，似乎与物理和生物化学领域中的因和果相反。如何调和这两个观点，是一个深刻的科学问题。^[15]

[1] J. Herault and C. Jutten, “Space or Time Adaptive Signal Processing by Neural Network Models,” in J. S. Denker, ed., Neural Networks for Computing, AIPConference Proceedings151, no. 1 (1986): 206–211.

[2] A. J. Bell and T. J. Sejnowski, “An Information-Maximization Approach to Blind Separation and Blind Deconvolution,” Neural Computation7, no. 6 (1995): 1129–1159.

[3] 早些时候，IBM的拉夫·林斯克（Ralph Linsker）引入了一种名为“infomax”的算法，以解释在发育过程中视觉系统是如何彼此连接起来的。R. Linsker,“Self-Organization in a Perceptual Network,” Computer21, no. 3 (1988): 105–117.

[4] A. J. Bell and T. J. Sejnowski, “An Information-Maximization Approach to Blind Separation and Blind Deconvolution.”

[5] 对 ICA 的 发 展 做 出 了 重 要 贡 献 的 人 还 包 括 ： Pierre Comon, Jean-FrançoisCardoso, Apo Hyvarinen, Erkki Oja, Andrzej Cichocki, Shunichi Amari, Te-WonLee, Michael Lewicki, and many others。

[6] A. J. Bell and T. J. Sejnowski, “The ‘Independent Components’ of Natural Scenes Are Edge Filters,” Vision Research37, no. 23 (1997): 3327–

3338.

成了生物分子生命的基底。这个想法是，当“神经机制”（nerual schemes）放松到足够的程度时，体内广泛分布的原子网络会出现连贯的信息，决定就是这样产生的。

霍普菲尔德网络和玻尔兹曼机

在20世纪80年代，尚在罗切斯特大学的计算机科学家杰罗姆·费尔德曼（Jerome Feldman）采用了联结主义（connectionist）网络的方式来研究人工智能。杰罗姆几乎没说错过什么话，他曾经指出，人工智能中使用的算法在运行了数十亿个步骤之后，却常常得不到一个正确的结论，而大脑只需要经历大约100个步骤，通常就会得出一个正确的结论。^[1]这个“100步法则”当时在人工智能研究人员中并不像现在那样受欢迎，但少数人，其中最著名的是卡内基–梅隆大学的艾伦·纽维尔，的确已经开始把它作为一种约束。

有一次我被困在了纽约州的罗切斯特机场，杰罗姆好心留宿了我一晚。那天，我参观完位于斯克内克塔迪的通用电气研究实验室，准备返回巴尔的摩，在回去的飞机上，听到飞行员通知我们罗切斯特的天气状况。我这才发现坐错了航班。落地后，我预订了飞往巴尔的摩的最早航班，但也要等到第二天了。我碰巧遇见了杰罗姆，他刚参加完在华盛顿特区举办的一次委员会会议，正准备回家。他很大方地邀请我去他家休息一个晚上。杰罗姆后来去了加州大学伯克利分校，但每次我被困机场时，都会禁不住想起他。

杰罗姆区分了“邋遢”和“整洁”的联结主义模型。邋遢模型跟杰弗里·辛顿和我一起研究过的模型十分相似，在网络的许多单元中分布了对对象和概念的表征。而杰罗姆所笃信的整洁模型，提供了对对象和概念严谨的计算表征，每个单元上只有一个标签。在更广泛的背景下，邋遢科学的模型使用近似方法来获得定性的答案，而整洁科学的模型致力于找到问题的确切解决方案。事实上，人工智能要取得进展，需要同时应用这两种方法。^[2]我不反对立足于“邋遢”的方法，但我会尽一切努力去给出一个更“整洁”的解释，最终努力产生了回报：杰弗里和我后来都因此获得了巨大的成就。

07

约翰·霍普菲尔德的伟大之处

想要获得物理学博士学位，你必须解决一个问题。好的物理学家应该有能力解决任何问题，但伟大的物理学家知道要解决什么样的问题。约翰·霍普菲尔德就是一位伟大的物理学家。在凝聚态物理学领域获得了杰出的成就之后，他的兴趣转向了生物学，特别是关于“分子校正”的问题。DNA（脱氧核糖核酸）在细胞分裂过程中被复制时，错误不可避免，必须纠正这些错误才能保证子细胞遗传信息的准确度。霍普菲尔德想出了一个聪明的办法，并解释了采用这个方法纠错的过程是怎么实现的，尽管他提出的这种方法需要消耗能量，但随后的实验表明，他是正确的。在生物学研究领域，做出任何正确的解释都是一项了不起的成就。

霍普菲尔德是我在普林斯顿大学读博士期间的导师，那时他刚对神经科学产生兴趣（见图7–1）。随着这种兴趣变得日益浓厚，他开始 兴 致 勃 勃 地 给 我 讲 述 ， 他 从 波 士 顿 神 经 科 学 研 究 计 划（Neuroscience Research Program，NRP）会议上那些神经科学研究专家的演讲里所学到的东西。我发现在NPR会议上发布的一些小型研讨会会议文章非常有价值，让我了解了当时人们正在研究什么问题，以及产生了哪些想法。我现在还保留着一份由传奇神经学家西奥多·霍姆斯·布洛克（Theodore Homes Bullock）整理的关于神经编码的研讨会会议文献。西奥多后来成了我在加州大学圣迭戈分校的同事。西奥多和艾德里安·霍里奇（Adrian Horridge）合著的关于无脊椎动物神经系统的书堪称经典。^[3]我和西奥多在模拟珊瑚礁集体行为的项目中有过合作，并且我很荣幸地成为他在2008年发表的最后一篇学术论文的共同作者。^[4]

与前层单元建立了反馈连接，并与同层单元间存在循环连接的神经网络，要比仅具有前馈连接的神经网络复杂得多。包含具有正（兴奋）权重和负（抑制）权重的任意连接单元的通用网络对学界提出了一个数学难题。虽然芝加哥大学的杰克·考恩（Jack Cowan）和波士顿大学的斯蒂芬·格罗斯伯格（Stephen Grossberg）在20世纪70年代后期，通过证明这样的网络能够重现视觉错觉^[5]和幻觉^[6]，在该领域取得了一些进展，但是工程师发现这种网络并不能解决复杂的计算问题。

内容可寻址存储器

1983年的夏天，辛顿、霍普菲尔德和我参加了杰罗姆·费尔德曼在罗切斯特大学组织的一场讨论会。霍普菲尔德告诉我们，他解决了一种强交互网络的收敛问题。他证明了一种独特的非线性网络模型，即现在的“霍普菲尔德网络”，能确保收敛到一种叫“吸引子”（attractor）的稳定状态（见图7–2，方框7.1）^[7]（高度非线性网络很容易发生振荡，或表现出更多的混沌行为）。此外，可以通过选择网络中的权重，把吸引子状态做成信息内容。如此一来，霍普菲尔德网络就可以被用来实现一种“内容可寻址存储”（content-addressable memory）。存储的信息可以只用信息内容的一部分作为提取输入，让神经网络完成信息填充。这让人联想起了人的记忆行为。如果我们看到某个熟人的脸，就能想起那个人的名字和先前与之交谈过的内容。

霍普菲尔德网络的重大突破性在于，它能在数学上保证收敛。研究人员曾认为要分析高度非线性网络的一般情况是不可能的。当网络中的所有单元被同时更新的时候，所引发的动态情况非常复杂，没有办法保证收敛。^[8]但是霍普菲尔德网络展示出，当网络中单元的更新是顺序进行的时候，一种单元组彼此双向连接并且权重相同的特殊对称网络，是可解，并且最终是能够收敛的。

越来越多的证据表明，海马体（保存关于特殊事件和独特对象长期记忆的大脑关键区域）中的神经网络存在像霍普菲尔德网络中的那种吸引子状态。^[9]虽然霍普菲尔德模型非常抽象，但它的本质行为和在海马体上观察到的行为十分相似。20世纪80年代，许多物理学家都曾利用霍普菲尔德网络实现了由物理学到神经科学的跨越。使用理论物理的复杂工具来分析神经网络和学习算法的过程中，诞生了很多惊人的发现。物理、计算和学习在神经科学理论领域深刻地联系在一起，这一结合成功地实现了对大脑功能的诠释。

约翰·霍普菲尔德和当时在贝尔实验室的大卫·汤克（DavidTank），随后又展示了一种霍普菲尔德网络的变体，其中的单元可以拥有0到1之间的连续值，^[10]能够很好地解决优化问题，例如“旅行商问题”（traveling salesman problem），该问题旨在寻找能够访问多个城市的最短路径，每个城市仅访问一次。^[11]这是一个计算机科学领域众所周知的难题。网络的能量函数包含了路径的长度，限制是每个城市仅能访问一次。经过初始状态，霍普菲尔德和汤克的网络能最终收敛到一个最小能量状态，表明找到了一条较好的路径，虽然不一定是最佳路径。

局部最小值与全局最小值

达纳·巴拉德（Dana Ballard）在1982年与克里斯托弗·布朗（Christopher Brown）一起撰写了一本关于计算机视觉的经典著作，^[12]他也参加了1983年的研讨会。辛顿和我当时正在与巴拉德一起为《自然》杂志撰写一篇关于图像分析新方法的综述。^[13]该文章的核心想法是，用网络模型中的节点表示图像中的特征，网络中的连接实现了特征间的约束条件；互相兼容的节点具有积极的相互作用，而不兼容的节点间具有消极的相互作用。在视觉中，必须找到满足所有约束条件的所有特征的和谐表达。

霍普菲尔德网络能够解决这种约束满足问题吗？能量函数可以用来衡量网络满足所有约束的程度（见方框7.1）。视觉问题需要一个最佳解决方案，一个全局能量最小值，但是霍普菲尔德网络的工作原理决定了它仅能提供局部最小值。《科学》杂志上的一篇文章让我深受启发，其作者斯科特·柯克帕特里克（Scott Kirkpatrick）当时在位于纽约约克敦海茨（Yorktown Heights）的IBM托马斯·沃森研究中心（Thomas J. Watson Research Center）工作。^[14]柯克帕特里克使用了一种叫作“模拟退火”（simulated annealing）的算法来解决局部最小值问题。假设你想把一堆电子元件装到两块电路板上，怎么放置这些元件可以使连接元件的接线数量最少呢？

较差的解决方案就是，先随机安放元件，然后每次移动一个元件，直到找到用线最少的排布方案。因为当移动任何一个元件都无法减少用线时，很容易陷入局部最小值的陷阱。逃出这个陷阱的一种方式就是，允许随机跳到一种用线更长的放置方式。这种跳跃的概率，开始时会很大，随后慢慢减小，直至变成零。如果这种概率减小的速度足够慢，元件的最终排布方式会达到接线的全局最小值。在冶金业，这种做法叫作退火。将金属加热并慢慢冷却，在这一过程中会形成缺陷最小的较大的晶体结构，这些缺陷会使金属过脆，或出现裂纹。

7.1霍普菲尔德网络