深度学习“三巨头”中的最后一位—本吉奥(见图 7-29)与杨立昆一样是法国人,出生于首都巴黎,后来去了加拿大求学,目前在加拿大蒙特利尔大学工程系任教。本吉奥在神经网络上的贡献虽然没有辛顿那种经典工作堆积成山的气势,也不像杨立昆那样拥有卷积神经网络缔造者的头衔,但他在神经网络的很多方面都做了非常扎实且细致的贡献,今天我们在许多神经网络的应用领域中都能见到本吉奥的工作成果,例如前面介绍过的自然语言处理领域中的主要工具—循环神经网络和基于它发展出来的长短期记忆神经网络,还有词向量(Word Vector)等。总之,整个神经网络语言模型领域的关键技术,本吉奥都是最早的研究者,现在他还是这个领域最主要的学者之一。除此之外,在神经网络运算框架方面,虽然 TensorFlow 开始逐渐展露出一统江湖的趋势,但在 TensorFlow 出现之前,工业界用于神经网络计算的主流产品是一个名为“ Theano”的 Python 代数计算库,这个库可以说是 TensorFlow 的前身,它就是本吉奥负责的蒙特利尔大学机器学习算法实验室(Montreal Institute forLearning Algorithms,MILA)做出来的成果。
2018 年,美国计算机协会(ACM)为表彰辛顿、杨立昆、本吉奥在深度神经网络、深度学习概念和工程上的突破,将 2018 年图灵奖授予他们三人。
本吉奥是“三巨头”中年纪最小、资历最浅、表现也最为低调的一位,他一开始一直不愿意从学术界投身到工业界,不过经过 2012 年和 2013 年两年的酝酿,各个大型的互联网和 IT 企业都已经把人工智能视为必须进行战略布局的领域,本吉奥作为“三巨头”中最后一位尚未被企业聘用的成员,自然是炙手可热的宝贵资源。经过微软全球副总裁沈向洋长达数月的游说,本吉奥终于在 2014 年答应加盟微软研究院(Microsoft Research,MSR),担任微软研究院的人工智能战略顾问,为此微软还在很多网站和杂志上发表文章并接受采访,高调地宣告本吉奥的加盟。
第 7 章 深度学习时代
303