人工智能时代：破解人机共存密码（套装共10册）

有一天，我正盯着显示器，以每秒两次的速度读出每个输入模式的对称性。当时我在约翰·霍普金斯大学心理学系的同事尼尔·科恩（Neal Cohen）也在观察这个屏幕，但他却不能区分这些对称性，除非凑近了仔细看，他对我的这项本事感到很惊讶。与玻尔兹曼机的学习过程类似，观察了显示器数日之后，我的视觉系统被训练到可以自动检测对称性，而不需要在屏幕上四处对比查看。尼尔和我设计了一个实验，用本科生作为未经训练的考察对象，观察他们在这一任务上的进展。^[23]开始时，他们花了很长时间才找出正确的对称性，但经过几天的训练以后，他们的速度变得飞快。到了实验后期，他们能够快速、轻松地找到对称性，甚至可以在任务过程中与我们进行交谈，得到的答案依然准确无误。这是非常快速的感知学习。

我在约翰·霍普金斯大学教授过计算生物物理学，这门课程吸引了很多有才华的学生和研究人员。本·尤哈斯（Ben Yuhas）是与我一起工作的电子工程系的研究生，他在写作博士论文期间，训练了一个神经网络来阅读唇语。^[24]人的嘴巴在运动过程中包含了声音的信息。尤哈斯的网络将嘴部的图像转换为每个时间点上产生声音的相应频谱。这一技术可以辅助处理有噪声的声谱以改善语音识别。他的研究生同学安德里亚斯·安德里欧（Andreas Andreou）是希腊族塞浦路斯人，他当时正在Barton Hall大楼的地下室里建造模拟超大规模集成电路芯片（将在第14章中进行介绍）。在20世纪80年代，许多院系的教师对待神经网络的态度都不太友善，这样的现象在很多机构中都非常普遍，但这并不能阻止尤哈斯或安德里欧研究的脚步。事实上，安德里欧后来成了约翰·霍普金斯大学的正教授，并合作建立了约翰·霍普金斯大学语言和语音处理中心。尤哈斯则组建了一个咨询团队，为政府和企业客户提供数据科学咨询服务。

学习识别手写数字

最近，杰弗里·辛顿和他在多伦多大学的学生们训练了一个带有三层隐藏单元的玻尔兹曼机，能够对手写邮政编码进行非常准确的分类（见图7–6）。^[25]由于玻尔兹曼网络具有反馈和前馈连接，因此可以反向运行网络，钳制其中一个输出单元，并生成与钳制输出单元相对应的输入模式（见图7–7）。这种生成性网络能捕获训练集的统计结构，而它们生成的样本也会继承这些属性。就好像这些网络进入了睡眠状态，网络最高层的活动在输入层产生了梦境一般的状态序列。

尽管神经网络在物理学和工程学中的兴起十分迅速，但传统的认知科学家却迟迟不能接受它作为理解记忆和语言处理的形式体系。除了拉荷亚的并行分布处理（PDP）研究组和一些独立的研究者，符号处理仍然是业界的主流方法。杰弗里和我在1983年参加了认知科学协会（Cognitive Science Society）的会议。会议期间，研究短期记忆和意象的心理学家泽农·派利夏恩（Zenon Pylyshyn）表示出了对玻尔兹曼机的不屑。他朝讲台上泼了一杯水，并大声喊道：“这不是计算！”而其他人则认为整个领域仅仅是在搞统计罢了。但杰罗姆·莱特文（Jerome Lettvin）却表示，他真的非常喜欢我们正在做的事情。莱特文在1959年与温贝托·马托拉那（Humberto Matourana）、沃 伦 · 麦 卡 洛 克 （ Warren McCulloch ） 和 沃 尔 特 · 匹 茨 （ WalterPitts）一起撰写了经典的论文《青蛙的眼睛告诉大脑什么》（Whatthe Frog's Eye Tells the Frog's Brain）。 ^[26] 文中给出了青蛙视网膜中的虫类探测器神经元对小黑点的反应最为强烈的证据，这是一个在系统神经科学领域极具影响力的想法。他对我们羽翼未丰的神经网络模型的支持是该领域早期发展中的重要一环。

无监督学习和皮层发育

玻尔兹曼机既可以用来进行监督学习，即输入和输出都被钳制；也可以用于无监督学习，即只有输入被钳制。杰弗里·辛顿使用无监督的版本一次一层地搭建出了一个深度玻尔兹曼机。^[27]从连接到输入单元的一层隐藏单元开始——即受限玻尔兹曼机（restrictedBoltzmann machine），杰弗里用未标记的数据对它进行训练，这些数据比标记数据更容易获得（互联网上有数十亿未标记的图像和录音），可以使学习进度更快。无监督学习的第一步是从数据中提取所有数据共有的统计规律，但第一层隐藏单元只能提取简单的、用感知器也可以表现的特征。下一步是将权重固定到第一层，并在上面添加第二层单元。更多的无监督玻尔兹曼学习产生了更复杂的一组特征，可以不断重复这一过程来创建具有多层深度的网络。

因为上层的单元包含更多非线性的低层特征组合，使得它们可以作为一个整体，从具体的特征中抽象出更普遍的特征。因此，在上层进行的分类变得容易得多，只需要更少的训练样本就能在更高的计算水平达到收敛。尽管如何描述这种解决方案背后的数学原理依然有待商榷，但已经有新的几何工具开始在这些深度网络中崭露头角了。

^[28]皮层似乎也是逐层生长的。在视觉系统发育的早期阶段，作为第一层从眼睛接收输入信号的神经元，初级视觉皮层中的神经元具有很高的可塑性，并且很容易根据视觉输入流重新建立连接，这种连接在关键时期结束后消失（这部分在第5章已经讨论过）。大脑后部的视觉区域和其他感官流的层级结构最先发育成熟，靠近大脑前部的皮层区域则需要更长的时间。前额叶皮层，也就是最靠近大脑前端的部分，直到成年早期才可能完全发育成熟。在关键期，皮层区域的连接接受神经活动影响最大，这些层叠的关键时期导致了皮层的逐渐发育。加州大学圣迭戈分校的认知科学家杰弗里·艾尔曼（Jeffrey Elman）和伊丽莎白·贝茨（Elizabeth Bates）跟其他同事一起，针对皮层的逐渐发育如何帮助儿童通过了解世界而获得新能力，给出了联结主义网络角度的解释。^[29]这一工作为解释我们漫长的童年如何使人类成为最善于学习的物种，开辟了一个新的研究方向，同时也对先前围绕某些与生俱来的行为产生的论调提供了新的视角。

史蒂文·库沃茨（Steven Quartz）曾经是我实验室里的博士后研究员，现在在加州理工学院做教员。我们在合作发表的《骗子、爱人和英雄》（Liars, Lovers and Heroes）^[30]一文中曾经写道，在儿童和青少年时期的大脑发育过程中，经验可以深刻地影响神经元的基因表达，从而改变负责行为的神经回路。基因的差异性以及环境影响之间的交互作用，让我们能够从新的角度认识大脑发育的复杂性。这一活跃的研究领域超越了先天与后天的辩论，并从文化生物学的角度对其进行了重新定义。我们的生物特性不仅促成了人类文明的诞生，也反过来被人类文明影响着。^[31]最近的一项发现为这个故事续写了新篇章：当神经元之间突触的形成在早期发育过程中迅速增加时，神经元内部的DNA在诞生后通过一种甲基化的形式进行表观遗传修饰，这种甲基化调节基因的表达是大脑所独有的。^[32]这种表观遗传修饰可将我和史蒂文之前设想的经验与基因之间建立起某种连接。

到了20世纪90年代，神经网络革命开始如火如荼地进行。认知神经科学领域正在扩展，计算机变得越来越快，但还不够快。玻尔兹曼机的技术性能非常出色，但是要模拟起来却慢得让人无法忍受。真正帮助我们取得进展的是一种更快的学习算法，恰恰在我们最需要它的时候，它与我们不期而遇了。

[1] 大多数神经元可以做出决定的最快速度大约为10毫秒，并且在1秒内做出决定所需要的时间不超过100时步。

[2] 涉及电磁学时，法拉第（Michael Faraday）的物理学是邋遢型的，而麦克斯韦（James Clerk Maxwell）的是整洁型的。

[3] Theodore Holmes Bullock and G. Adrian Horridge, Structure and Function in theNervous Systems of Invertebrates(San Francisco: W. H. Freeman, 1965).

[4] E. Chen, K. M. Stiefel, T. J. Sejnowski, and T. H. Bullock, “Model of Traveling Waves in a Coral Nerve Network,” Journal of Comparative PhysiologyA 194, no. 2(2008): 195–200.

[5] D. S. Levine and S. Grossberg, “Visual Illusions in Neural Networks: Line Neutralization, Tilt after Effect, and Angle Expansion, Journal of TheoreticalBiology61, no. 2 (1976):477–504.

[6] G. B. Ermentrout and J. D. Cowan, “A Mathematical Theory of Visual Hallucination Patterns,” Biological Cybernetics34, no. 3 (1979):137–150.

[7] J. J. Hopfield, “Neural Networks and Physical Systems with Emergent Collective Computational Abilities,” Proceedings of the National Academy of Sciences of the United States of America79, no. 8 (1982): 2554–2558.

[8] 尽管1976年的马尔–波吉奥立体视觉模型（第4章提到）的神经网络是对称的（因为马尔和波吉奥对所有单元进行了同步更新），但其网络的动态状况比使用异步更新的霍普菲 尔 德 网 络 要 复 杂 得 多 。 D. Marr, G. Palm, and T. Poggio T, “Analysis of aCooperative Stereo Algorithm,” Biological Cybernetics28, no. 4(1978): 223–239.

[9] L. L. Colgin, S. Leutgeb, K. Jezek, J. K. Leutgeb, E. I. Moser, B. L. McNaughton,and M. B Moser, “Attractor-Map versus Autoassociation Based Attractor Dynamics in the Hippocampal Network,” Journal of Neurophysiology104, no. 1 (2010):35–50.