由于找不到合适的经费来源，辛顿在瑟赛克斯大学、加利福尼亚大学圣迭戈分校、卡内基梅隆大学、英国伦敦大学等多所大学工作过，最后终于在 2004年从加拿大高等研究院（Canadian Institute For Advanced Research，CIFAR）申请到了每年 50 万美元的经费支持，加拿大高等研究院可能是那时唯一还在支持神经网络研究的机构了，现在看来这是一笔收益惊人的投资。辛顿当时申请了研究课题为“神经计算和适应感知”的项目，虽然与其他知名的人工智能项目所得到的巨额资金相比，每年 50 万美元实在是一笔微薄的经费，但还是让辛顿在加拿大多伦多大学安顿下来，结束了飘摇不定的访问学者生涯。
一直到 2006 年，经过 30 多年的耕耘，辛顿在人工神经网络领域已经算是一位泰斗级的人物了，硕果累累，荣誉等身，且在 1998 年就被选为英国皇家学会院士。但辛顿在学术上的成就，还是抵不过大众脑海里“神经网络没有前途”的偏见，在很长的一段时间里，多伦多大学计算机系私下流行着一句对新生的警告：“不要去辛顿的实验室，那是没有前途的地方。”即便如此，辛顿也依然不为所动，仍坚持自己的神经网络研究方向没有丝毫动摇。据说为了给自己减压打气，他还养成了一种自我激励的特殊方法，每周发泄般大吼一次：“我发现大脑是怎样工作的啦！”这样的习惯，至今还一直保持着。在这 30 多年的时间里，神经网络相关学术论文很难得到发表，但辛顿仍坚持写了 200 多篇不同方法和方向的研究论文，这为后来神经网络的多点突破打下了坚实的基础。
假如只能选一件事情来代表辛顿对人工智能做出的最具价值的贡献的话，笔者的选择不是他发表的 200 多篇论文，不是对神经网络度过生存危机有非常巨大的意义和价值的误差反向传播算法，不是他与大卫·艾克利（DavidAckley，1947—）和特里·赛杰诺斯基（Terry Sejnowski，1947—）共同发明的“受限玻尔兹曼机”（Restricted Boltzmann Machine，RBM）<sup>○一</sup>，或者后来以受限玻尔兹曼机为基础进一步演化出来的深度信念网络，而是他 30 多年坚持不懈，开创了深度学习这门机器学习的分支，成功扭转了全世界对神经网络前景的看法，为后来的研究者打开了通向神经网络和机器学习新世界的大门。
第 7 章 深度学习时代
257
○一 辛顿本人的选择倒是这个，他在接受 deeplearning.ai 的访谈时称受限波尔兹曼机是迄今最令他感到兴奋和有价值的发明。