卷积学习
到了2000年，自20世纪80年代兴起的神经网络热潮已经退去，神经网络再次成为常规科学。托马斯·库恩（Thomas Kuhn）曾将科学革命之间的时间间隔描述为，科学家在一个已经确定的范式或解释框架内进行理论推定、观察和试验的常规工作阶段。<sup>[1]</sup>1987年，杰弗里·辛顿去了多伦多大学，并继续着渐进式改进，虽然这些改进都没有像曾经的玻尔兹曼机那样展现出魔力。辛顿在21世纪头十年成为加拿大高等研究院（Canadian Institute for Advanced Research，简称CIFAR ） 神 经 计 算 和 自 适 应 感 知 项 目 （ Neural Computation andAdaptive Perception，简称NCAP）的带头人。该项目由来自加拿大和其他国家的约25位研究人员组成，专注于解决机器学习的难题。我是由杨立昆担任主席的NCAP顾问委员会的成员，会在每年NIPS会议召开之前参加该项目的年会。神经网络的先驱们在缓慢而稳定的过程中探索了机器学习的许多新策略。虽然他们的网络有许多有价值的应用，但却一直没有满足20世纪80年代对该领域抱有的很高的期望。不过这并没有动摇先驱者们的信念。回想起来，他们一直是在为飞跃性的突破奠定基础。
机器学习的稳步发展
NIPS会议是20世纪80年代神经网络的孵化器，为其他可处理大型高维数据集的算法打开了大门。弗拉基米尔·瓦普尼克的支持向量机于1995年引发了轰动，为20世纪60年代就被遗弃的感知器网络开辟了一个新篇章。使支持向量机成为功能强大的分类器，并出现在每个神经网络工作者工具包中的，是“内核技巧”（kernel trick），这是一种数学转换，相当于将数据从其采样空间重新映射到使其更容易被分离的超空间。托马索·波吉奥开发了一种名为“HMAX”的分级网络，可以对有限数量的对象进行分类。<sup>[2]</sup>这表明，网络的性能会随着其深度的增加而提高。
09