次采访中，韦尔博斯这样说道：
“当时我认为，这种研究思路对解决感知机问题是有意义的，但是在人工智能寒冬中，这个圈子已经失去解决那些问题的信念了。”
自此以后，这个算法还在不断被人重复发现，例如戴维·帕克（DavidParker，1956—）与杨立昆曾在 1985 年的麻省理工学院的学报上发表过这个算法。但最终到 1986 年，辛顿与心理学家大卫·鲁梅尔哈特（David Rumelhart，1942—2011）在《自然》杂志上发表了论文《通过误差反向传播算法的学习表示》（“Learning Representations by Back-propagating Errors”）<sup>○一</sup>，此算法才真正引起了学术界的关注。在《自然》这种顶级科学杂志上，辛顿清晰地论证了误差反向传播算法是切实可操作的训练多层神经网络的方法，才得以彻底扭转了明斯基《感知机》一书带来的负面影响，终于令学术界普遍认可多层神经网络也是可以有效训练的，神经网络并不是没有前途的“炼金术”。直到此时，神经网络的“生存危机”才算是初步化解，误差反向传播算法对神经网络来说可谓期盼已久、能称作雪中送炭的重要成果，神经网络也由此踏出了它的漫长复兴之路的第一步。
7.4.2 从感知机到神经网络
从分类关系上讲，毫无疑问多层感知机属于神经网络中的一种，与今天广泛应用、可被误差反向传播算法训练的经典神经网络有许多相同的地方，也有一些差异，主要体现在以下几个方面。
第 一， 多 层 感 知 机 一 般 是 以“全 连 接 前 馈 神 经 网 络”（Fully ConnectFeedforward Neural Network）的形式出现的。全连接前馈神经网络结构如图 7-2 所示，其名字中的“前馈”（Feedforward）是指把若干个单层神经网络级联在一起，前一层的输出作为后一层的输入，构成一种最基础的多层神经网络。神经网络加上“前馈”这个定语的目的在于特别强调这样的网络是单向的、无反馈的，也就是说，位置靠后的神经元不会把输出反向连接到前面层次上的神经元作为输入。而“全连接”（Fully Connect）就很好理解了，它是指网络中的任意一个神经元与其上、下层的每一个神经元都有连接。“全连接”带来的主要好处是对网络的输入顺序没有要求，打乱输入顺序也不会对输出结果产生影响。
246
第三部分 第三波高潮
○一 这里还应当包括辛顿同年发表的另一篇更为深入的文章：《通过误差传播算法的机器学习内部表示》（“ Learning Internal Representations by Error Propagation ”）。