智慧的疆界 从图灵机到人工智能

1947 年，在第二届控制论大会上，皮茨宣布他的博士论文的题目将是以概率来解释神经网络，皮茨当时已经开始在麻省理工学院执教数理逻辑课程，其学术水平和声望早已远远超过了博士毕业生应达到的程度，以这个问题作为他的博士论文题目，更多是为了凸显自己对这个问题的重视程度，其意义和难度远超过用它来获得博士学位。神经网络的可解释性直到今天仍然是一个没有办法解决的世界级难题，被认为是神经网络的天生缺陷，皮茨选择的这个朴素的题目其实蕴含着极为宏大的内涵，它所需的数学技能和目标用“野心勃勃”都不足以形容。但是在场的与皮茨接触过的学者却对皮茨抱有强烈的信心，相信他能够完成这个题目。

皮茨在麻省理工学院研究之余，由于维纳的声望和关系，不少著名科学家都开始与皮茨有所交流，这些交流和聚会让双方都获得了很大的帮助和启发，其中最著名的便是冯·诺依曼。维纳与冯·诺依曼一起组织了一个“控制论学家”的学术交流圈子，大家定期聚会探讨心得。后来皮茨、麦卡洛克和莱特文都成为这个圈子的核心人物。冯·诺依曼发表的他在计算机界取得的最重要贡献，描述了现代计算机程序存储架构的论文，即“冯·诺依曼架构”的《EDVAC 报告书的第一份草案》（“First Draft of a Report on the EDVAC”）^○二中，关于计算机存储结构部分，引用的就是皮茨关于记忆的表述。其实，这份奠定了如今计算机体系结构的极重要的草案只有一个外部引用，就是皮茨和麦卡洛克的论文《神经活动中内在思想的逻辑演算》。

第 4 章 连接主义学派

115

○一 DNA 结构在 1953 年才由沃森和克里克发现，当时只是知道人类基因中会包含遗传信息，但并未发现 DNA 结构和这些信息的存储方式。

○二 在第 1 章介绍 EDVAC 和图灵的 ACE 竞争时曾经提到过这份报告，报告下载地址：http://www.virtualtravelog.net/wp/wp-content/media/2003-08-TheFirstDraft.pdf。

不过，在麻省理工学院的几年研究岁月里，最令皮茨欢欣鼓舞的，一定是1952 年麻省理工学院电子研究实验室副主任杰瑞·威斯纳（Jerry Wiesner）邀请麦卡洛克来领导该学院的一个脑科学相关的新项目。这个机会同样令麦卡洛克兴奋至极，因为他又能够和皮茨一起工作了，为此，麦卡洛克毅然放弃了伊利诺伊大学芝加哥分校终身教授的职位和欣斯代尔的家园，只换来了麻省理工学院里一个中级研究员的头衔和一个小公寓作为住所，但是能再度与皮茨合作，他觉得这一切都很值得。麦卡洛克的团队中除了皮茨之外，还有莱特文以及一位年轻的神经科学家帕特里克·沃尔（Patrick Wall，1925—2001）。这个脑科学的新项目的目标是使用包括信息论、神经生物学、统计学以及计算机科学在内的所有手段，去解释大脑是如何产生智能的。项目组的工作地点位于瓦萨街的 20 号楼，项目成立时，他们几个一起在门上挂了一个牌子，上面写着“实验认识论”（Experimental Epistemology）。

到此为止，命运一直都眷顾着皮茨，虽然出生于一个贫苦的家庭，但是给了他天才的大脑和一位如兄如父的合作伙伴，学术和事业也逐渐走向正轨。在1954 年《财富》杂志发起的评选中，皮茨被选为“40 岁以下最有才华的 20 位科学家”之一，与之并列的是香农等传奇人物，那时候没有人再怀疑皮茨正在迅速跃升于科学的天空之中，终将会成为一颗耀眼的明星。这是一段奇迹般的故事，但是，谁也没有想到的是，命运对皮茨的眷顾就在此刻戛然而止了。

4.5 陨落的流星

由于皮茨的关系，麦卡洛克的团队自然与维纳也保持着密切的合作，不仅限于学术研究，在生活上他们也有相当密切的交往，经常会在家庭农场中举办野外聚会之类的社交活动。这一切看起来都很完美，他们两个团队的合作预示着进展和革命，神经科学、控制论、人工智能、计算机科学仿佛都处于智能爆炸的前夜。

116

第二部分 学派争鸣

但是，有一个人对此心怀不满，即维纳的妻子玛格丽特·维纳（MargueriteWiener）。她的不满与皮茨无关、与学术无关，而是源于她和麦卡洛克的妻子的不可调和的矛盾：玛格丽特是一个纳粹主义者，甚至二战时家里还偷藏了一本英文版的希特勒的《我的奋斗》。而麦卡洛克的妻子是一位犹太人，两者不相容的原因可想而知^○一。为了避免麦卡洛克给她的丈夫带来思想上的影响，玛格丽特决定不择手段地断绝维纳与麦卡洛克团队的联系，她编造了一个谎言，指控麦卡洛克团队中有人勾引了他们的女儿芭芭拉。维纳有躁郁症，天生就多疑，心中常萦绕着一股莫名的背叛感。得知该消息后，维纳对此事极其愤怒，立即发了一封电报给威斯纳（邀请麦卡洛克的那位麻省理工学院的电子实验室副主任），宣布永久断绝他与麦卡洛克团队的合作关系，麦卡洛克原本就有点贵族气，对维纳忽然提出的这项涉及个人道德操守的指控也是怒不可遏。

在这场突如其来的麦卡洛克和维纳的决裂中，皮茨毫不犹豫地站到了麦卡洛克一方，与维纳从此形同陌路，当时麻省理工学院正准备向他授予博士学位，由于授予文件中博士生导师填写的是维纳的名字，皮茨断然拒绝在学位授予文件上签字，甚至把他那篇备受关注的博士论文和所有相关的研究笔记一起烧掉，这是他多年的研究成果，其重要性令每个圈内人士都翘首以盼，但被他全部烧掉了，无价的信息化作了灰烬。后来威斯纳甚至对莱特文说，如果他可以找回论文的任何片段，麻省理工学院将承诺不受维纳的影响，给他们的研究更多的支持，但是一切都没有办法重来了。玛格丽特的纳粹信仰和她导演的这场闹剧，不仅沉重打击了皮茨和麦卡洛克，也让维纳本人受到连累，最后维纳被定性为不算纳粹也不能排除纳粹关系的“不可知论者”（Agnostic）。由于二战期间与军方合作的不顺利，维纳后来成为一位有些极端的反战分子，所有和政府、军事密切相关的计划，美国政府都有意无意地把维纳排除在外。

第 4 章 连接主义学派

117

○一 令人感到讽刺的是维纳本身就是犹太人。根据《维纳传》记载，维纳是在 1926 年以学者身份在德国做研究时，由父母操办与德国人玛格丽特结的婚。在 Dark Hero ofInformation Age 一书中记载了由于维纳妻子对纳粹的热心，给维纳带来诸多困扰，甚至令维纳在 1953 年放弃了对自己所创立的控制论的研究工作，致使这门新生学科的发展进入了长时间的停顿期。

与维纳像电影剧情一般的决裂，似乎预示着皮茨传奇故事转折的开始，更加不幸的是，后面还有另外一个更大的打击在等待着他。

1956 年，在 20 号楼地下室里，呈现的是这样一个场景，一边摆着线缆和科学仪器，另一边是极不和谐的装满蟋蟀和青蛙尸体的垃圾桶。麦卡洛克的研究团队正在做一项生物实验，他们准备通过实验证明生物眼睛的作用就像照相机一样，负责被动地记录它所看见的内容，然后将信号逐点送到大脑，由大脑来完成对照片内容的解读。图 4-6 是他们当时做实验的照片。之所以要证明这个，是因为他们认为如果思考的过程确实如麦卡洛克和皮茨所推测的大脑思维模型那样，可以抽象为一个信息处理器工作过程的话，那么大脑就应当是人体信息处理的唯一器官，因为他们构想的用于思考的神经网络仅存在于大脑之中。为了验证这个观点，他们决定用真实的动物来测试，方法是将青蛙颅骨打开然后在它的视觉神经上贴上一些电极，再对这些青蛙做各种视觉实验，包括调亮调暗灯光、向它们展示栖息地的照片、用电磁力摆动模拟人造苍蝇等，然后把蛙眼观察到的信息在送往大脑之前记录下来，从而得知蛙眼所看到的内容。

实验很顺利地完成了，但是结果完全出乎实验团队所料，相信也出乎今天大多数读者的预料：青蛙的眼睛不只记录了它看到的东西，还将诸如对比度、曲率及运动轨迹等视觉特征分析过滤出来一并传递给了大脑。“眼睛跟大脑沟通的语言是已经高度组织化并且经过解译的”，这就是实验的结论，他们将这一结论写在了一篇发表于 1959 年的论文里，论文的题目叫作《蛙眼告诉了蛙脑什么》（“What the Frog’s Eye Tells the Frog’s Brain”）^○一，这篇论文对他们之前提出的思维机械性理论是一个严重的打击，对他们本人来说也同样是一个严重的打击。

118

第二部分 学派争鸣

蛙眼实验的结果对麦卡洛克和皮茨的影响甚至不仅仅是“一个挫折”足以形容的，它还令皮茨的世界观产生了根本性动摇—他提出的大脑模型并不正确，至少是不完整的，生物的信息处理并不仅仅由大脑靠着神经网络来完成。青蛙的眼睛里至少承担了一部分信息解译的工作，而并非大脑依靠严格的数理逻辑，通过神经元逐一处理外界信息。蛙眼实验显示，纯粹的逻辑、纯粹以大脑为中心的思想观是有局限性的。大自然选择了生命的杂乱而非逻辑的严谨，这可能是事实，但也是皮茨难以接受的。

无论麦卡洛克和皮茨的大脑思维模型是否正确，即使这个模型在生物学大脑研究上没有得到推广，它都切切实实地推动了数值计算、机器学习、神经网络方法，以及连接主义思想哲学的进步。但在皮茨自己的想法里，他已经被现实打败了。莱特文这样描述皮茨得知蛙眼实验结果时的样子：

“在我们做完蛙眼实验时，事实很明显地摆在他面前：即便逻辑参与到了思维过程中，它也没有发挥曾经设想的那种重要的核心作用，这让皮茨很失望，他永远也不会接受，这让他在失去维纳的友谊后更加绝望。”

在此之后，皮茨对数学、对逻辑、对追求智能，甚至对整个人生都变得心灰意冷，他仿佛又回到了 12 岁之前的时光，孤独、渴望离家出走寻找新的天地，但是这次困住他的不再是现实环境，而是他自己的心灵—皮茨得了严重的抑郁症。之后的几年时间里，皮茨虽然名义上仍受雇于麻省理工学院，但是甚少参与学术研究，在麦卡洛克病倒之后，他甚至不再与任何人交谈，终日酗酒。

1969 年，年仅 46 岁的皮茨在寄宿之家孤独死去，还死在麦卡洛克之前，死因是跟肝硬化有关的食道静脉曲张破裂出血，皮茨去世的 4 个月之后，麦卡

第 4 章 连接主义学派

119

○一 论 文 下 载 地 址：http://jerome.lettvin.info/lettvin/Jerome/WhatTheFrogsEyeTellsTheFrogsBrain.pdf。

洛克也在医院里去世了。

4.6 感知机

与符号主义学派在推理期、学习期由不同的学者去关注不同问题的情形相似，在美国北部麦卡洛克和皮茨着力于解决“大脑如何处理信息”这个问题的同时，在美国东南部佛罗里达的耶基斯国家灵长类研究中心有另外一群科学家在致力于研究“大脑是如何学习到知识的”。麦卡洛克他们在摆弄青蛙，另一位神经心理学家唐纳德·赫布（Donald Hebb，1904—1985）则从黑猩猩身上研究情感和学习能力。虽然赫布并没有成功地把黑猩猩“教导成才”，获得个学位什么的，但他自己却从中领悟出了一套生物学习的规则。

1949 年，赫布出版了《行为组织学》（Organization of Behavior）一书。在该书中，赫布总结出了被后人称为“赫布法则 ”（Hebb’s Law）的学习机制。他认为如果两个神经元细胞总是同时被激活的话，它们之间就会出现某种关联，同时激活的概率越高，这种关联程度也会越高。如果我们基于前文的 M-P神经元模型来理解这句话，可以理解为：如果两个神经元同时被激活，则它们之间的连接权重就会增加；如果只有某个神经元单独被激活，则它们之间的连接权重就应减少。赫布法则是最古老也是最简单的神经网络学习规则。如果局限于神经网络方法范围内，机器学习的本质就是调节神经元之间的连接权重，即赫布法则中提到的神经元关联程度。

2000 年的诺贝尔生理学或医学奖得主埃里克·坎德尔（Eric Kandel，1929—）的动物实验也证实了赫布的理论。赫布的论文探讨的内容是纯粹基于神经科学和生物学的，但是在人工智能尤其是机器学习领域中，各种学习算法或多或少借鉴了赫布的学习理论。

最先把赫布的理论应用于人工智能领域的，是两位年纪相近且来自同一所高中的校友，该高中名为布朗克斯科学高中，是一所出过八个诺贝尔奖、六个普利策奖、一个图灵奖的传奇学校，其中一位是大家已经很熟悉的人工智能奠基人明斯基，另外一位叫作弗兰克·罗森布拉特（Frank Rosenblatt，1928—1971），他是本章第二个故事的主角。

120

第二部分 学派争鸣

达特茅斯会议上连接主义相关的内容并不是主要议题，连接主义相关内容的风头完全被来自符号主义学派的“逻辑理论家”盖过。后来，“叛逃”出连接主义学派之后，明斯基自己也在尽力淡化他与连接主义间千丝万缕的关系，但不可否认，那时的明斯基是连接主义和神经网络的支持者。1954 年他在普林斯顿大学的博士论文题目是《神经模拟强化系统的理论及其在大脑模型问题上的应用》（“ Theory of Neural-Analog Reinforcement Systems and its Applicationto the Brain-Model Problem”）^○一，这实际就是一篇关于神经网络的论文。明斯基用真空管搭建了名叫“ SNARC ”（Stochastic Neural Analog ReinforcementCalculator，随机神经模拟强化计算器）的学习机器，如图 4-7 所示，这台机器可以在一个奖励系统的帮助下完成穿越迷宫的游戏。如果不考虑实用性的话，这可以算是世界上第一批基于神经网络的自学习机器的工程实践成果。

神经网络在工程应用上真正有实用意义的重大突破发生于 1957 年。康奈尔大学的实验心理学家罗森布拉特在一台 IBM 704 计算机上模拟实现了一种他发明的叫作“感知机”（Perceptron）的神经网络模型，这个模型看似只是简单地把一组 M-P 神经元平铺排列在一起，但是配合上赫布法则，就可以做到不依靠人工编程，仅靠机器学习来完成一部分机器视觉和模式识别方面的任务，这就展现了一条独立于图灵机之外的全新的实现机器模拟智能的道路^○二。一个可能是“图灵机”级别的新成果（这光想想都令人激动），一下子就引起科学界的关注，并且得到了以美国海军为首的多个组织的资助。

第 4 章 连接主义学派

121

○一 论 文 下 载 地 址：https://www.researchgate.net/publication/36374626\_Theory\_of\_neural-analog\_reinforcement\_systems\_and\_its\_application\_to\_the\_brain-model\_problem。

○二 感知机和图灵机其实并不是对等的概念，目前人们已经知道带有递归结构的神经网络是图灵完备的，可以是图灵机的一种形式，称为神经图灵机（Neural Turing Machine）。

单纯的感知机在今天几乎没有任何实际用途，但并不罕见，它几乎被所有的神经网络书籍当作入门知识来使用，为了给本书第三部分关于机器学习的内容打个良好的基础，笔者用一个具体例子来详细解释一下感知机的工作原理。我们的目标是令机器拥有自动识别阿拉伯数字的能力，假设待识别的数字通过光学扫描后存储于 14×14 像素大小的图片文件中，其中可能包含各种形式的数字，可能是不同印刷体或者手写体，然后，我们准备了如图 4-8 所示的训练集供机器进行学习。

“训练集”是机器学习理论中的常见词汇，这里我们可以这样理解：这是一组内容是数字的图片，我们事先会明确标注出这组图片中每一张图片实际代表的数字是什么，供计算机学习使用，称为训练集。

首先，我们要设计一套适当的数据结构，以便机器可以存储和处理这些数字图片。以一张 14×14 像素大小的灰度数字图片为例，假如我们用 1 表示黑色的像素，用 0 表示白色的像素，中间过渡的像素根据灰度强度大小用 0～1 之间的浮点值来表示，那么一个 14×14 像素大小的二维数组便可以存储训练集中的数字图片，如图 4-9 所示。我们把这个数组作为输入计算机的信息来源。

122

第二部分 学派争鸣

○一 本例中的训练集来自 MNIST（http://yann.lecun.com/exdb/mnist/），部分图片来源于谷歌TensorFlow 白皮书的教程部分。

$$
1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
$$

图 4-9 字符的数组表示

为了让计算机“看明白”图片中的数字是什么，必须让它先从训练集的多张图片中学习，学习的目标是找出训练集中每一张图片属于某个数字的特征。这些特征往往是模糊的，难以用语言精确表达，虽然人很难描述出来，但人类大脑却能毫不费力地认出图片属于某个数字的证据，这说明人类大脑其实是知道这些特征的。

按照神经网络解决问题的一贯思路，提取特征的办法是对图片的各个像素值进行加权求和，将训练集中的样本和标注数字进行对比，如果某个像素具有很负面的证据说明这张图片不属于某个数字的话，就把这个像素在该数字下相应的权重设置为负数，相反，如果这个像素拥有有力的证据说明这张图片属于某个数字，那么该像素的权重是正数。这不难理解，不管手写体还是印刷体，每个数字都有一些属于它们自己的特征，譬如对于数字“0”对应的图片，在图片中心的位置肯定不应该出现黑色像素（浮点值为 1），如果出现了就是负面证据，将降低这张图片属于数字“0”的概率。经过训练集中多张数字图片的校准之后，0 至 9 各个数字对应的像素权重分布情况大致如图 4-10 所示。

接下来，我们把图片到 0 至 9 这 10 个数字的分类过程，转化为 10 个 M-P神经元的工作过程，每个 M-P 神经元对应一个数字。每个 M-P 神经元有 196（14×14）个像素值的输入项，对应存储数字图片的 14×14 二维数组的每一个像素值。经过训练之后得到的各个像素值在该数字下的权重数据就作为该神经元的 196 个输入项的加权值，由此构成了一个由 10 个神经元共 1960 个带权重的连接线组成的神经网络。

第 4 章 连接主义学派

123

因为模型中的权重值是根据训练集中的大量样本学习得出的，所以理想情
况下，其他不在训练样本集中的图片，只要它依然是人类可辨认的阿拉伯数字
图片的话，就应当同样适合这个模型，加权求和再经过阈值比较之后，网络中
应该激活且只激活一个与其数字对应的 M-P 神经元，这个神经元代表的数字就
是图片识别的结果。像麦 权重 八米

从这个例子里可以提炼出一个更通俗的神经网络机器学习解释，神经网络学习方法的基本原理就是从训练集中提取出分类特征，这些特征应能同样适应独立同分布的其他未知数据，所以经已知数据学习训练后的神经网络应该对同类的未知数据有效。再回到这个数字识别的例子中，整个神经网络模型如图 4-11 所示。

不过，以上仅是能处理“理想情况”的模型，在实际使用过程中，往往会发现网络中出现了不止一个 M-P 神经元被激活的情况，原因并不难理解，毕竟许多手写体的数图 4-11 识别数字的神经网络模型

字会存在“模棱两可”的特征，有些特征非常模糊，甚至人类都可能识别错误。如图 4-12 所示，这些图片就来源于测试集中导致模型出现了两个（或以上）神经元同时被激活的数据，这类模糊的数据会使得识别出现歧义而导致识别失败。

124

第二部分 学派争鸣