7.4 复兴之路
自从中学时代迷上探索人类大脑记忆与思考的奥秘,辛顿就再也没有动摇过自己的梦想。自从博士时代定下研究的课题,辛顿追求的目标也一直没有改变过,从来都是致力于使用人工神经网络让计算机去模拟人类大脑的存储和思考。这个目标在当时已经被普遍认为不切实际,几乎算得上和“研究炼金术”差不多,甚至连他的导师希金斯都判断这是一项没有前途也没有结果的研究。
辛顿有着一颗逆反之心,从来就不是一个循规蹈矩的学者,但他肯定是一位十分理智且务实的学者,他十分清醒地认识到自己所面对的是一个目标极为宏大又不被大众认可的研究课题,明白学术理想上可以志存高远,但真正做研究时必须脚踏实地。虽然我们知道后来辛顿在谷歌公司参与并领导世界上最著名、最大规模的人类大脑模拟项目—“谷歌大脑”项目,使用超大规模计算机集群,通过神经网络技术去模拟人类大脑的神经元工作,但是在当时的那个时间点,他首要解决的问题并不是研究神经网络如何实现一个机器大脑,而是解决神经网络本身的“生存”问题,这个问题的根源很明确,概括起来便是明斯基《感知机》一书中所写的这句话:
“多层感知机不会有发展前景,因为世界上没人可以将多层感知机训练得足够好,哪怕是令它学会最简单的函数方法。”
神经网络在当时面临的最大问题就是网络深度稍增,便没有了可用的训练方法,无法在深度上扩展的神经网络,确实是没有什么发展前景的技术。
7.4.1 生存危机
明斯基拥有图灵奖得主、人工智能缔造者的耀眼头衔,这使得他撰写的《感知机》很容易就让学术界的大多数人相信,单层神经网络的表达能力是十分有限的,连“异或”这样的基础分类问题都解决不了,实在是不堪大用。而多层神经网络“也许”能够解决表达能力受限的问题,却又陷入根本无法训练的困境。简而言之,不论单层感知机还是多层感知机,或者说不论单层还是多层的神经网络,都是最糟糕的学术异端,只有死路一条。
第 7 章 深度学习时代
243