人工智能时代：破解人机共存密码（套装共10册）

在20世纪80年代，相信网络模型能够模仿智能行为的人并不只有我和杰弗里。全世界有一些研究人员，虽然大多都在独自耕耘，但与我们有着共同的信念，坚持不懈地开发着专门的网络模型。他们当中的一位，克里斯托弗·冯·德·马尔斯伯格（Christoph von derMalsburg），开发了一种模式识别模型，将发射脉冲的人造神经元连接在一起，^[1]并证明了这种方法可以识别图像中的人脸。^[2]另外，大阪大学的福岛邦彦（Kunihiko Fukushima）发明了神经认知机（Neocognitron），^[3]一个基于视觉系统架构的多层网络模型，它使 用 了 卷 积 滤 波 器 和 简 单 形 式 的 赫 布 可 塑 性 （ Hebbianplasticity），这也是深度学习网络的一个直接的前身。第三个例子是赫尔辛基大学的电气工程师戴沃·科霍宁（Teuvo Kohonen），他开发了一个自组织网络，可以学习将相似的输入通过不同的处理单元聚类到二维映射中（例如可以用来代表不同的语音），相似的输入能够激活输出空间的相邻区域。^[4]科霍宁网络模型的一个主要优点是，它不需要对每个输入的类别进行标记（通过生成标记来训练监督网络的花费十分高昂）。科霍宁的箭袋中只有一支箭，但却被打磨得非常精良。

在加州大学洛杉矶分校的朱迪亚·珀尔（Judea Pearl）引入了将网络中的结点用概率联系起来的信念网络，比如草地变湿，是因为喷水器打开了的概率，或者因为下雨了的概率。^[5]这是一个很有前景的将概率网络系统化的早期尝试。虽然珀尔的网络模型是一个可以用于追踪世间因果关系的强大框架，但手动分配所有所需概率已经被证明是不切实际的。能够自动找到概率的学习算法依然有待突破（会在本书第二部分讨论）。

上述几个例子和其他基于网络的模型都有一个共同的致命缺陷：它们都不足以解决现实世界中的问题。而且，开发它们的先驱者很少与他人合作，要取得进展就更加举步维艰。如此一来，麻省理工学院、斯坦福大学和卡内基–梅隆大学的一流人工智能研究中心里，就没有多少人看好神经网络了。基于规则的符号处理获得了大部分资金支持，并完成了大部分的相关研究工作。

神经网络先驱者

1979年，杰弗里·辛顿和布朗大学心理学家詹姆斯·安德森在加利福尼亚的拉荷亚市组织了联想记忆的并行模型研讨会。^[6]大多数参与者互相之间都是第一次见面。我很惊讶自己能够受邀参加研讨会，我那会儿只是哈佛大学医学院神经生物学的博士后研究员，而且只在一些不太知名的期刊上发表了一些关于神经网络的技术论文。杰弗里后来告诉我，他曾经与大卫·马尔（David Marr）（见图4–2，中间）审核过我的背景。马尔是神经网络建模中的一位顶尖人物，也是MIT AI Lab的一名有远见的领导者。1976年，我在怀俄明州杰克逊霍尔市（Jackson Hole）的一个小型研讨会上第一次遇到了马尔。我们有相似的兴趣，他还曾邀请我去MIT参观，并在那里做一次演讲。

马尔从剑桥大学获得了数学学士学位和生理学博士学位。他的博士生导师是生理学家吉尔斯·布林德利（Giles Brindley），专门研究视网膜和色觉，但在音乐理论和勃起功能障碍治疗领域也有较高的知名度。吉尔斯有一件很出名的逸事——在内华达州拉斯维加斯举行的美国泌尿外科学会（The American Urological Association）会议上发表演讲时，他脱掉了裤子，亲自证明了化学诱导勃起的有效性。马尔的博士论文描述了一个小脑神经网络学习模型，这块区域与快速运动控制有关。他还开发了海马体和大脑皮层的神经网络模型，撰写的大量相关文章也都被证明十分有预见性。^[7]

当我第一次在杰克逊霍尔遇到马尔时，他已经到了麻省理工学院，当时正在从事视觉研究工作，并凭借他的个人魅力吸引到了一批有才华的学生跟他一起工作。他追求一种自下而上的策略，从视网膜开始入手（在那里光被转换成电信号），并探求视网膜中的信号如何编码对象的特征，以及视觉皮层如何表示物体的表面和边界。他和托马索·波吉奥为立体视觉开发了一种带有反馈连接的递归神经网络模型，通过检测双眼看到的随机点立体图中点的图像的轻微横向位移，来测量对象的深度。^[8] 双眼深度感知是三维立体图产生效果的基础。^[9]马尔于1980年因白血病去世，年仅35岁。两年之后，他的遗作《视觉》（Vision）得以发表。^[10]具有讽刺意味的是，尽管马尔在他的视觉研究中采取了自下而上的策略，即从视网膜开始并对视觉处理的每个后续阶段进行建模，他的著作却以倡导自上而下的策略而闻名——首先对要解决的问题进行计算分析，然后构建算法来解决问题，最后通过硬件来实现算法。然而，尽管这可能是在解决问题后对问题进行解释的一种有效途径，但对于揭开大脑秘密却算不上是个好方法。难点就在第一步——要判断大脑正在解决什么问题。我们的直觉往往具有误导性，特别是在视觉方面；我们擅长观察，但大脑对我们隐藏了所有的细节。因此，纯粹的自上而下策略问题重重，但纯粹自下而上的策略也同样如此（后面的章节将探讨通过学习算法，由内而外理解视觉工作原理的进展）。

弗朗西斯·克里克也参加了辛顿和安德森在拉荷亚的研讨会，他曾在1953年与同在剑桥大学的詹姆斯·沃森（James Watson）共同发现了DNA的双螺旋结构。在20多年后的1977年，克里克加入了位于拉荷亚的索尔克生物研究所，并将研究重心转移到神经科学领域。他会邀请研究人员来访，并就神经科学的许多课题，特别是视觉方向，进行长时间的讨论，马尔就是其中一位访问者。在马尔著作的末尾，有一段苏格拉底对话式的启发性讨论，我后来得知，这段对话源自马尔与克里克的讨论。1989年我加入索尔克研究所后，也开始意识到与克里克对话的重要价值。

乔治·布尔与机器学习

1854年，一位自学成才、有5个女儿（有几个很有数学天分）的英国教师，写了一本名为《思维规律的研究》（An Investigation ofthe Laws of Thought）的书，它是“布尔逻辑”的数学基础。乔治·布尔对于如何使用逻辑表达式的见解是数字计算的核心，也是20世纪50年代人工智能萌芽期成果的基石。杰弗里·辛顿作为布尔的玄孙，很自豪能拥有一支布尔曾经使用过并在家族中代代相传的笔。

在准备一次演讲时，我发现布尔这本著作的全称是《思维规律的研究——逻辑与概率的数学理论基础》。虽然其中让人印象最深刻的是对逻辑的洞察，但这本书对于概率论也有很多讨论。概率论是现代机器学习的核心，在描述现实世界中的不确定性方面比逻辑方法要好用得多。所以布尔也是机器学习的先驱之一。有些讽刺的是，他思想中被遗忘的一面，在250年后因为他的玄孙才开始绽放。布尔一定会为杰弗里感到骄傲的。

AN INVESTIGATION

THE LAWS OF THOUGHT,

THE MATHEMATICAL THEORIES OP LOGIC AND PROBABILITIE.

DOVER PUBLICATIONS, INC.

图4-3 尽管乔治·布尔的《思维规律的研究》以研究思维的基础——逻辑而闻名，但请注意，它也探讨了概率的问题。这两个数学领域分别启发了在符号处理和机器学习方面的人工智能研究方法。

利用神经科学理解大脑

在普林斯顿大学物理系攻读研究生时，我曾通过写下非线性神经元交互网络的方程式并分析它们来解决如何理解大脑的问题，^[11]就像物理学家几个世纪以来使用数学来理解重力、光、电、磁和核能的本质一样。每天晚上睡前，我都会祈祷：“亲爱的主，让方程式是线性的，噪声呈高斯分布，变量是可分的吧。”这些是能产生分析解法的条件，但是因为神经网络方程式是非线性的，与之相关的噪声是非高斯分布的，而且变量是不可分的，所以它们并没有明确的解。除此之外，当时想要在计算机上模拟大型网络的方程是不可能的。更令人沮丧的是，我甚至不确定我的方程式到底对不对。

在普林斯顿上课时，我发现神经科学家们正在取得令人振奋的进展，这个年轻的学科领域45年前才初露端倪。在此之前，生物学、心理学、解剖学、生理学、药理学、神经学、精神病学、生物工程学等许多学科都对大脑进行了研究。在1971年神经科学学会（The Societyfor Neuroscience ） 的 第 一 次 会 议 上 ， 弗 农 · 蒙 特 卡 索 （ VernonMountcastle）亲自在门口迎接了每一位与会者。^[12]今天，这个学会有4万多名成员，大约3万人通常会出席年会。我于1982年在约翰·霍普金斯大学的生物物理系开始我的第一份工作时，遇到了这位传奇的神经生理学家，他发现了皮层柱，而且有着强大的人格魅力。^[13]我随后与蒙特卡索密切合作，计划建立约翰·霍普金斯大学的脑研究所。这是世界上该领域第一个研究机构，成立于1994年。

对于大脑的研究存在着许多不同的层级（见图4–4），每个层级都有着重要的发现，而要整合所有这些知识是一个棘手的问题。这让人想起了关于矮胖子的童谣：

矮胖子，坐墙头，

栽了一个大跟斗。

国王呀，齐兵马，

破镜难圆没办法。

图4-4 大脑研究中的层级。（左）空间尺度范围从底部的分子水平到顶部的整个中枢神经系统（centralnervous systems，CNS）。我们已经对每一个层级都有了深入的了解，但对具有少量彼此高度相关的神经元的网络层级，即由人工神经网络进行模拟的层级，却知之甚少。（右）突触（图片下方）的示意图，视觉皮层中的简单细胞结构（图片中间）以及视觉皮层中皮层区域的层次结构（图片上方）。图片改编自：P. S. Churchland，T.J. Sejnowski，“Perspectives on CognitiveNeuroscience”，Sc ience，242(1988):741-745，Figure 1。

尽管神经科学家非常善于解剖大脑，但再把这些部分拼回去就没那么容易了。这一过程需要做加法而不是减法，而这正是我想要实现的。但首先我必须知道各个部分都是什么，毕竟大脑的构成太复杂了。

查尔斯·格罗斯（Charles Gross）教授是在普林斯顿研究猴子视觉系统的心理学家。在他的一个研究生讲座上，我对哈佛大学医学院的大卫·休伯尔和托斯坦·威泽尔在记录视觉皮层里单个神经元方面所取得的进展印象深刻。如果物理学不是理解大脑工作原理的捷径，那么有可能是神经科学。由于他们在初级视觉皮层中的开创性工作，休伯尔和威泽尔共同获得了1981年的诺贝尔生理学或医学奖。（他们的发现是深度学习的基础，接下来会在第5章中讨论，也是第9章的主题。）

大脑如何处理问题

1978年在普林斯顿获得物理学博士学位后，我参加了位于伍兹霍尔市的海洋生物学实验室举办的为期10周的深度实验神经生物学夏季课程。上课的第一天，我穿着一件蓝色休闲外套和熨烫得十分平整的卡其色裤子，却被课程讲师之一的斯托里·兰迪斯（Story Landis）带到一边，她给我买了我人生中的第一条牛仔裤。斯托里当时是哈佛大学神经生物学系的教员，后来在美国国立卫生研究院（以下简称NIH）担任国家神经疾病和中风研究所主任。一想起她，我就会想到这件事。

暑期课程结束后，我在9月份又待了几个星期，想要完成我之前开启的一个项目。鲨鱼和鳐形目（包括鳐科）能够感知非常微弱的电场；事实上，它们甚至可以感受到横穿大西洋的1.5伏电池的信号。凭借这种第六感，鳐鱼可以通过它们在地球磁场中运动产生的微弱电信号来识别方向，而这一过程产生的毫伏级的信号可以被它们的电接收器感知。我在项目中获得了鳐鱼电感受器令人叹为观止的电子显微镜_图像。[14]

我正在伍兹霍尔Loeb Hall大楼的地下室拍照的时候，意外地接到了哈佛医学院神经生物学系创始人斯蒂芬·库夫勒（StephenKuffler）的一个电话。库夫勒是神经科学领域的传奇人物，成为他实验室里的一名博士后研究员，是我人生的一个转折点。在搬去波士顿之前，我完成了与导师艾伦·盖尔普林（Alan Gelperin）共同进行的一个绘制大蛞蝓的足神经节代谢活动的短期博士后项目。^[15]从那以后，我每次吃蜗牛都会不由自主地想到它的大脑。艾伦师承自一系列研究动物行为神经基础的神经科学家。我所学到的是，无脊椎动物中所谓的简单神经系统，实际上比进化阶梯上那些更高级动物器官里的更复杂，因为无脊椎动物必须依赖更少的神经元存活，每个神经元都是高度特异化的。我也开始明白，没有行为支持，神经科学的任何东西都讲不通。^[16]

在库夫勒的实验室里，我研究了牛蛙交感神经节一个突触的迟慢兴奋性反应（见图4–5），它的反应速度是位于同一神经元的另一个突触上的快速的毫秒级兴奋性反应的1/60000。^[17]这些神经节含有形成牛蛙自主神经系统输出的神经元，可以对腺体和内部器官进行调节。在刺激到突触的那个神经后，我有充分的时间去倒杯咖啡再返回座位——从突触输入到神经元达到峰值会花上1分钟左右，然后神经元会再用10分钟恢复到初态。突触是大脑中基本的计算单元，而突触类型的多样性不可小觑。这次经历告诉我，复杂性可能不是通向理解大脑功能的坦途。为了理解大脑，我必须了解，大自然如何通过进化早早就解决了大量的问题，并将这些解决方案自下而上地传递给进化链上的物种。我们大脑中的离子通道在几十亿年前的细菌体内就存在了。