明斯基在书中说道:多层感知机虽然理论上有可能解决非线性可分的问题,但是实际上却是完全不具备可行性的—无论软件模拟还是实际建造都几乎是不可能的,因为每增加一个隐层,新引入的连接数量就会急剧膨胀。即使只考虑网络中只有前向连接(即网络是一个有向无环图,每一层的神经元都只与下一层产生连接关系,这种最简化的神经网络在今天被称为“前馈神经网络”)的简化情况,它产生的连接数量随着层数的增加,也会迅速发展成天文数字。
这种情景读者可以自己想象一下,在本章提及的几个神经网络的例子中,最简单的单层网络也有 14×14 个输入神经元、10 个输出神经元,这样的神经网络就包含 1960(196×10)个神经元连接,如果中间再加入一层与输入项数量相同的隐层,整个网络所需要训练的权重将会激增至 40376 个(输入层至隐层的连接为 196×196 个,隐层至输出层的连接为 196×10 个,共计 40376个)。更令人头疼的是,加入隐层之后,罗森布拉特的“Back Propagation”(请注意,此算法与今天深度学习的误差反向传播算法名字相似但内容并不一样)训练方法就不再有效了,原因是不同层次之间的权重调节并不独立,它们的取值会互相影响,不能再面向单个权重来调节,可是要一体化地训练如此庞大的连接权重,在当时既没有合适的硬件能处理这种规模的数据,也没有可行的训练算法来实现<sup>○一</sup>。
明斯基在书中最后给出了他对多层感知机的评价和结论:“研究两层乃至更多层的感知机是没有价值的。”多层感知机在没来得及被大家深入探究之前,就被明斯基直接判了“死刑”。
其实罗森布拉特自己也早已预感到感知机的能力可能存在限制,但这种缺陷被明斯基以一种极具敌意的方式呈现给公众,对他来说是不可接受的。在《感知机:计算几何学导论》(见图 4-20)的前言部分,明斯基甚至使用了完全不顾及同行颜面的话语:“这里(指罗森布拉特的理论)的大部分内容都没有多少科学价值(Most of this writing is without scientific value)。”
132
第二部分 学派争鸣
○一 其实在 20 世纪 70 年代、80 年代都有人独立发现过后面将提到的误差反向传播的训练算法,但是在 80 年代之前并未得到重视,无论是明斯基还是罗森布拉特都不得而知。