智慧的疆界 从图灵机到人工智能

为了应对多于一个神经元被激活的实际情况，神经元输出不再适合简单地以“是否激活”的离散形式来判断，这里需要将 M-P 神经元的阈值比较这部分改进一下，修改为输出一个代表神经元“被激活的强度”的连续值，然后把各个神经元的激活强度值都放入网络后方的 Softmax 归一化函数 （此处仅以Softmax 函数为例，也可以选择其他函数）中进行处理，以便抑制概率小的、增强概率大的数字分类。因此，真正可用于实际数字识别场景的神经网络模型将如图 4-13 所示。

以上便是感知机和神经网络应用于机器视觉识别的工作原理，在简单介绍了感知机的原理之后，我们再回到罗森布拉特和感知机的故事中。

在 IBM 704 主机中软件模拟成功两年以后，罗森布拉特成功地制造出了世界上第一台硬件感知机“ Mark-1”，就是本书第 1 章中展示过的得到美国海军高度评价的那台机器。Mark-1 的输入端是一个 20×20 的感光单元矩阵，以此将英文字符的光学信号转化为电信号，再通过物理线缆连接的方式将其与后面字母分类的神经元层相连。Mark-1 的训练方法是使用电动马达来调整连接线的电压计，以电压值来表示连接的权重。如果读者看懂了前面的感知机工作原理，那以今天神经网络有了长足发展后的眼光来看，这台感知机的原理并没有任何复杂之处，但是以当时的电气水平来说，真的把这样一台机器制造出来，场面还是颇为“壮观”的。读者可以通过如图 4-14 所示的这张实物图片来感受一下直接用物理连接来实现神经网络的 Mark-1 感知机的“复杂”程度。

第 4 章 连接主义学派

125

○一 归一化是指将有量纲的表达式转换为无量纲的表达式，成为标量。这里是通过 Softmax函数对向量进行归一化，在数字集中凸显其中最大的值并抑制低于最大值的其他分量，以加大最大的数值与其他数值的区分度。

126

第二部分 学派争鸣

这台 Mark-1 感知机在经过学习训练后，确实能够符合预期地工作，成功地识别出多个英文字母。在当时，有人能够教会一台机器“认字”这件事情毫不意外地产生了极为吸引眼球的舆论效果，为人工智能的迅速升温提供了强大的推动力。罗森布拉特不仅做出了第一台有工程样品价值的感知机，还在理论上证明了单层神经网络在处理线性可分的模式识别问题时是可以收敛的，并以此为基础，做了多个关于感知机学习能力的实验。

1962 年，罗森布拉特还出了一本书—《神经动力学原理：感知机和大脑机制的理论》（Principles of Neurodynamics: Perceptrons and the Theory of BrainMechanisms），此书总结了他对感知机和神经网络的主要研究成果，一度被连接主义学派奉为“圣经”。

4.7 凛冬将至

伴随着感知机影响的快速发酵，罗森布拉特的名气越来越大，媒体对他的工作甚至他本人都表现出了极高的关注度。这点不难想象，能够构建一台“有可能”模拟人类大脑工作原理的机器，即使放到今天也可以轻而易举地上个头版头条。更加关键的是，罗森布拉特得到的研究经费也随着感知机名声的高涨而越来越多，美国国防部和美国海军都资助了他的研究工作。这件事在学术圈内就不仅仅是获取一点身外虚名的小事情了，其中还涉及微妙的金钱和利益的分配，毕竟政府每年的资助是有预算限制的，给罗森布拉特的预算多了，给其他人的自然会少。偏偏罗森布拉特不知收敛，没有明哲保身，反而一改往日作为一个学者的害羞和矜持，经常在媒体出镜，开跑车，弹钢琴，到处显摆，致使不少人工智能领域的学者都对他极为不满。其中有的人只是心里反感，有的人是批评声讨，还有的人直接“明剑执刀”地对他进行学术攻击，而真正致命的打击来自他的高中校友—当时同样是连接主义学派巨头的明斯基。

明斯基是达特茅斯会议的组织者，是人工智能的奠基人之一。1959 年，明斯基加入麻省理工学院，创立了麻省理工学院计算机系以后，他的主要工作之一就是与政府机构对接，负责申请研究经费方面的事务，他与罗森布拉特的结怨最初也是源于这些与学术无关的行政工作。

第 4 章 连接主义学派

127

在一次两人都参与的工作会议上，明斯基和罗森布拉特大肆争吵，彻底将他们之前已有的矛盾公开化。两位人工智能学术巨头的斗争，不可能只停留在嘴皮子吵架定胜负上，最终肯定要在学术上见分晓。明斯基直接对罗森布拉特研究感知机的价值和前途发起了进攻，指出罗森布拉特的感知机和神经网络的实际价值非常有限，绝不可能作为解决人工智能问题的主要研究方法。随后，为了证明自己的观点，证明感知机和神经网络具有天生缺陷，明斯基和麻省理工学院的另一位教授西摩尔·派普特（Seymour Papert，1928—2016）（见图 4-15）合作，着手从数学和逻辑上去证明罗森布拉特的理论和感知机具有重大的局限性，没有什么发展前途。他们合作的成果就是那本在人工智能历史上影响巨大的、“是也非也”的传奇书籍：《感知机：计算几何学导论》（Perceptrons:An Introduction to Computational Geometry）。

感知机确实如明斯基所说，存在先天缺陷吗？如果仅限于罗森布拉特所提出的单层感知机而言，确实如此。前文提到过，皮茨和麦卡洛克曾向人们展示了 M-P 神经元可以通过不同的连接方式和权重来实现逻辑与、或、非运算，罗森布拉特的感知机的基本原理就是利用了神经元可以进行逻辑运算的特点，通过赫布法则，调整连接线上的权重和神经元上的阈值。罗森布拉特把一组神经元平铺排列起来，组成一个单层的神经元网络，经过学习阶段的权重调整，便可实现根据特定特征对输入数据进行分类。不过这种分类只能做到线性分割—感知机可以应用的前提条件，输入的数据集在特定特征下必须是线性可分的。

128

第二部分 学派争鸣

“分类”是今天机器学习中最常见的应用之一，下一章会详细探讨这个问题。这里不妨先简化一下，按照最简单的 0-1 分类来理解，分类是指经过神经网络处理后，对符合特定特征的输入数据输出为 1，不符合的输出为 0。

逻辑与、或、非运算本身也可以视为一种最基本的分类操作，因此，即使对于仅由单个 M-P 神经元构成的感知机而言，也具备分类能力。例如，以图 4-16 所示的 M-P 神经元为例，通过调节连接线权重，切换成不同的逻辑运算，便可以对输入数据进行 0-1 分类。

● 令 $w _ { 1 } = w _ { 2 } = 1$ ，阈值 = 2，则 $y = f \left( \ 1 \times x _ { 1 } + \ 1 \times x _ { 2 } - 2 \ \right)$ ），仅在 $x _ { 1 } = x _ { 2 }$ 时才有 $y = 1$ ，否则 $y = 0$ ，即“逻辑与”的效果。

● 令 $w _ { 1 } = w _ { 2 } = 1$ ，阈值 = 0.5，则 $y = f \left( \ 1 \times x _ { 1 } + \ 1 \times x _ { 2 } { - } 0 . 5 \ \right)$ ，仅在 $x _ { 1 } = 1$ 或者 $x _ { 2 } = 1$ 时才有 y = 1，否则 $y = 0$ ，即“逻辑或”的效果。

● 令 $w _ { 1 } = - 0 . 6 , w _ { 2 } = 0$ ，阈值 = -0.5，则 $y = f \left( - 0 . 6 \times x _ { 1 } + 0 \times x _ { 2 } + 0 . 5 \ \right)$ ，在$x _ { 1 } = 1$ 时有 $y = 0$ ，在 $x _ { 1 } = 0$ 时有y = 1，即“逻辑非”的效果。

而对于更一般的情形，由多个 M-P 神经元组成的单层感知机可以将输入数据集中两类线性可分的数据，以一个超平面^○一划分开来^○二。上面的单个 M-P 神经元分割数据的例子，只是其中最简单的一个特例，相当于二维平面上的数据被一条直线分割成两个区域。

第 4 章 连接主义学派

129

○一 超平面是二维平面中的直线、三维空间中的平面在N维欧氏空间中的推广。

○二 讽刺的是，“感知机相当于以超平面划分数据”这个命题的严格数学证明并不是罗森布拉特给出的，而是明斯基和派普特在《感知机：计算几何学导论》中完成的。

之前提到了“线性可分”这个词，我们不必纠结它的数学定义，就从字面意思去理解就可以了：如果把逻辑与（AND）、或（OR）、非（NAND）运算作为输入数据，按照 0、1 值构成二维的坐标平面，并把逻辑运算结果为 1的用方块表示，结果为 0 的用圆圈表示，就形成了如图 4-17 所示的内容，三种逻辑运算都能够很直观地通过一条直线将这个二维坐标平面中的数据划分开来。

在《感知机：计算几何学导论》一书里，明斯基和派普特使用数学方法证明了感知机在处理线性可分的数据时，其学习过程可以使权重收敛到一个稳定值，换句话说，感知机处理线性可分问题是可行的。但是他们同时也指出了感知机的致命弱点：“感知机能解决线性可分的问题，但是它也只能解决线性可分的问题。”两位教授同样用数学方法证明了感知机，更准确地说是单层感知机不能处理非线性数据的分类问题，其中最典型的就是“异或问题”。异或运算（XOR，是一种逻辑析取操作，当两个运算元的值不同时结果为真）也是一个很基本的逻辑运算，如果连这样的问题都解决不了，那感知机的处理能力确实是有极大局限性的。我们可以直观地从图 4-18 中看到，对于代表异或的图形，确实没有办法通过一条直线把方块和圆圈划分开。

在证明单层感知机能力不足的同时，明斯基在书中还试图将当时只存在于少数人大脑构想中的多层感知机（MultiLayer Perceptron，MLP）的出路也一并堵死。虽然明斯基并没有进行严格的证明，但是他的灵敏的数学直觉告诉他多层感知机应该是能够处理非线性的分类问题的^○一，因为这一点在简单的低维度的样例中很容易体现出来。如果延续我们之前的例子，只需要在网络中增加一个“隐层”（Hidden Layer，这是神经网络的概念，神经网络中除去输入层、输出层外的中间层被统称为隐层），按照图 4-19 中标注的数值来设置连接线的权重和神经元的阈值，就可以轻而易举地实现逻辑异或运算^○二。

130

第二部分 学派争鸣

其实，早在《感知机：计算几何学导论》出版前四年（即 1965 年），乌克兰数学家伊瓦赫年科（Alexey Grigorevich Ivakhnenko，1913—2007）就提出了和多层人工神经网络很接近的模型，其中就有解决异或问题的介绍，当时并没有引起多大关注，但后来神经网络的火爆程度大家都很清楚。

第 4 章 连接主义学派

131

○一 1989 年，有人首次使用数学证明了只需要一个隐层的感知机（即两层或以上的多层感知机）就可以处理非线性分类问题，相关论文地址：http://www.dartmouth.edu/\~gvc/Cybenko\_MCSS.pdf。

○二 此处只是举了一个最基础的二维平面上异或问题的例子。1974 年，哈佛大学博士沃波斯（Werbos）在他的博士论文中证明了两层神经网络就可以完全解决（在任何维度上解决）异或问题。

明斯基在书中说道：多层感知机虽然理论上有可能解决非线性可分的问题，但是实际上却是完全不具备可行性的—无论软件模拟还是实际建造都几乎是不可能的，因为每增加一个隐层，新引入的连接数量就会急剧膨胀。即使只考虑网络中只有前向连接（即网络是一个有向无环图，每一层的神经元都只与下一层产生连接关系，这种最简化的神经网络在今天被称为“前馈神经网络”）的简化情况，它产生的连接数量随着层数的增加，也会迅速发展成天文数字。

这种情景读者可以自己想象一下，在本章提及的几个神经网络的例子中，最简单的单层网络也有 14×14 个输入神经元、10 个输出神经元，这样的神经网络就包含 1960（196×10）个神经元连接，如果中间再加入一层与输入项数量相同的隐层，整个网络所需要训练的权重将会激增至 40376 个（输入层至隐层的连接为 196×196 个，隐层至输出层的连接为 196×10 个，共计 40376个）。更令人头疼的是，加入隐层之后，罗森布拉特的“Back Propagation”（请注意，此算法与今天深度学习的误差反向传播算法名字相似但内容并不一样）训练方法就不再有效了，原因是不同层次之间的权重调节并不独立，它们的取值会互相影响，不能再面向单个权重来调节，可是要一体化地训练如此庞大的连接权重，在当时既没有合适的硬件能处理这种规模的数据，也没有可行的训练算法来实现^○一。

明斯基在书中最后给出了他对多层感知机的评价和结论：“研究两层乃至更多层的感知机是没有价值的。”多层感知机在没来得及被大家深入探究之前，就被明斯基直接判了“死刑”。

其实罗森布拉特自己也早已预感到感知机的能力可能存在限制，但这种缺陷被明斯基以一种极具敌意的方式呈现给公众，对他来说是不可接受的。在《感知机：计算几何学导论》（见图 4-20）的前言部分，明斯基甚至使用了完全不顾及同行颜面的话语：“这里（指罗森布拉特的理论）的大部分内容都没有多少科学价值（Most of this writing is without scientific value）。”

132

第二部分 学派争鸣

○一 其实在 20 世纪 70 年代、80 年代都有人独立发现过后面将提到的误差反向传播的训练算法，但是在 80 年代之前并未得到重视，无论是明斯基还是罗森布拉特都不得而知。

由于明斯基在人工智能领域中的特殊地位，再加上他不久前（1969 年，此书出版的同一年）刚获得第四届图灵奖所带来的耀眼光环，这本书不仅对罗森布拉特本人，还对连接主义和神经网络的研究热情，甚至对整个人工智能学科都带来了非常沉重的打击。

1971年7 月11日，《感知机：计算几何学导论》公开出版刚满一年，罗森布拉特在43岁生日当天，在美国切萨皮克湾的一艘游船上“意外”落水，不幸身亡。笔者之所以将意外二字加上引号，是因为今天很多人都选择相信此事并非巧合，而是罗森布拉特的骄傲使他在与明斯基的学术斗争落败后选择了自杀。罗森布拉特是感知机的发明人，曾经是感知机、神经网络甚至整个连接主义的捍卫者，由于经费分配和高调的个人作风等，在开拓神经网络机器学习方法的道路上，他是一位很孤独的斗士，在他与明斯基的斗争中无人对其声援，还备受其他学者责难。不知在生命的最后一刻，他是否也对神经网络和感知机的前途失去了信心。也许他相信感知机有突破困境破茧成蝶的一天，也有可能他自己已经心灰意冷。大概当时真的没有任何人能够预见到，神经网络和连接主义在 20多年后还有机会逆袭，并最终成为人工智能研究的最主流、最热门的技术。

第 4 章 连接主义学派

133

罗森布拉特死后，明斯基在《感知机：计算几何学导论》一书的第 2 版中，删除了原版里面对罗森布拉特个人攻击的全部句子，并在扉页手写了“纪念弗兰克·罗森布拉特”（In memory of Frank Rosenblatt）的话语。但这毕竟为时已晚，如同之前罗森布拉特被整个人工智能学术界声讨那样，现在又有许多人工智能的研究者反过来认定明斯基对罗森布拉特的死亡有间接的责任，认为他是不可原谅的。尤其是在连接主义学派重新兴起之后，许多人纷纷跳出来对明斯基口诛笔伐，谴责明斯基差点扼杀了他亲手创立的人工智能这门学科，认为明斯基应该对罗森布拉特的死亡、对连接主义衰落的十多年时间，以及对后来的人工智能寒冬负责。玛格丽特·博登（Margaret Boden，1936—）在她的作品《心如机器：认知科学的历史》（Mind as Machine: A History of CognitiveScience）中对明斯基和他的书评价道：“毫无疑问，整本书从开头到结束，全部都是对罗森布拉特的工作以及神经网络的研究的诅咒！”

后来的这些评价大多带有一些个人的情绪，仿佛这些人一早就知道感知机和神经网络是具有研究价值的，还预见到了它们在人工智能中的重要作用，只是慑于明斯基的威望才不敢吭声，暗地里一直与罗森布拉特在并肩作战一般。笔者看来，无论是罗森布拉特的观点还是明斯基的观点，既然是学术研究，肯定就有说错话、走错方向的可能，我们不仅要看到那些有效的、正确的成果，也应该记录那些走过的弯路，明斯基与罗森布拉特竞争的悲剧结果只是学术圈现实的一次爆发。美国电气电子工程师协会（Institute of Electrical andElectronics Engineers，IEEE）于 2004 年设立了罗森布拉特奖，以奖励神经网络领域的杰出研究人员。

尽管明斯基当时对神经网络的观点并不正确，他与罗森布拉特的斗争确实很可能有学术之外的原因，但明斯基本人绝对是无愧于一名有自己明确的学术观点和哲学思想的人工智能大师的。2007 年，“深度学习”的概念被提出，多层网络的训练方法也已完善起来，深度神经网络逐步取得了令世人瞩目的成就，但是神经网络在人工智能领域渐成燎原之势的时候，他仍然坚持着神经网络具有很大局限性的看法。明斯基在他的新作《情感机器》一书出版后，接受媒体采访时曾经说道：

134

第二部分 学派争鸣