Understanding Research）计划，当时甚至被 DARPA 评价为“一场骗局”，但是这个研究所开发出来的“隐马尔可夫模型”这样的“黑科技”，在数十年后成为计算机语音识别技术领域的一块重要基石，参与其中的研究者大多成为这个领域的一代宗师。寒冬过去之后，这些被时代尘灰所埋没的成果终会发出耀眼的光芒。
4.9 本章小结
本章是关于连接主义学派创建及其成果的一些故事，虽然故事带有悲剧色彩，但从今天大小企业各类职业的人员都在谈论神经网络就可以得知，连接主义并未在 20 世纪 70 年代初的人工智能寒冬中彻底死去，它仿佛武侠小说里面那些掉下山崖的侠客一般，总有奇遇，并凭此逆袭，终成主角，至少迄今为止它在人工智能领域都是主角。
沉寂十年后，人工智能在 20 世纪 80 年代开始再度爆发，引领这波浪潮的力量是符号主义，主要是知识工程和专家系统。而连接主义和神经网络也在 1982 年开始出现缓慢复苏的迹象，如 1982 年物理学家约翰·霍普菲尔德（John Hopfield，1933—）提出的“ Hopfield 网络”、1985 年特里·谢泽诺斯基（Terry Sejnowski）和杰弗里·辛顿（Geoffrey Hinton，1947—）共同发明的“玻尔兹曼机”（Boltzmann Machine）、1986 年辛顿提出的可以训练多层神经网络的“误差反向传播学习算法”（Back-Propagation）等都是连接主义中不可忽视的进步。不过，在 2006 年前后，虽然多层神经网络的训练问题已被初步解决，但由于神经网络建模的天生限制，也由于数据量和运算能力的限制，神经网络的效果一直不能算好，利用当时的计算机也难以实现大规模的神经网络，因此，当人工智能的第二次热潮在 20 世纪 90 年代逐渐退却时，神经网络又受到了冷落，自此，以“支持向量机”（Support Vector Machine，SVM）、“隐马尔可夫模型”（Hidden Markov Model，HMM）等为代表的统计学习方法“唱”了十多年的主角，直到 2006 年辛顿提出深度信念网络（Deep Belief Network，DBN）以后，神经网络真正具有统治力的时代—深度学习时代才真正来临，这部分内容和它的故事，留待第 7 章再进行介绍。
第 4 章 连接主义学派
139