其实,早在《感知机:计算几何学导论》出版前四年(即 1965 年),乌克兰数学家伊瓦赫年科(Alexey Grigorevich Ivakhnenko,1913—2007)就提出了和多层人工神经网络很接近的模型,其中就有解决异或问题的介绍,当时并没有引起多大关注,但后来神经网络的火爆程度大家都很清楚。
第 4 章 连接主义学派
131
○一 1989 年,有人首次使用数学证明了只需要一个隐层的感知机(即两层或以上的多层感知机)就可以处理非线性分类问题,相关论文地址:http://www.dartmouth.edu/\~gvc/Cybenko\_MCSS.pdf。
○二 此处只是举了一个最基础的二维平面上异或问题的例子。1974 年,哈佛大学博士沃波斯(Werbos)在他的博士论文中证明了两层神经网络就可以完全解决(在任何维度上解决)异或问题。