8.5 语言奇点
第 7 章曾讲到辛顿与两名学生苏茨克维和亚历克斯组队赢得 ILSVRC 2012挑战赛冠军后,谷歌花费 5000 万美元收购了刚刚成立,没有任何实际产品或服务,就只有他们三名员工的“空壳公司”DNNResearch。当时这个新闻出来后,业界纷纷感慨谷歌重视学术的态度,称赞谷歌目光长远的人才战略。殊不知,这并非布局未来的战略,而是一笔实实在在的商业投资,真正体现了谷歌投资部门老辣独到的技术视野,等大家在短短三五年后重新审视这笔投资时,不得不承认无论从技术价值还是从商誉价值来衡量,仅投入 5000 万美元就能催生出一系列注定会载于人工智能甚至人类科技发展历史的发明,着实是惊人的回报。
8.5.1 序列到序列模型
伊尔亚·苏茨克维(Ilya Sutskever,1986—,见图 8-7)是辛顿的学生,而且是真正意义上的“嫡传弟子”,他的本科、硕士研究生和博士研究生学位都是
在辛顿的指导下获得的。要成为辛顿的学生并不是一件容易的事情,毕竟辛顿连本吉奥和吴恩达的老师迈克尔·乔丹(Micheal Jordan)的博士后申请都拒绝过。当时要作为辛顿的学生也不像是一个明智的选择,深度学习爆发之前,多伦多大学一直就流传着一句话:“不要去辛顿的实验室,那是没有前途的地方。”更多关于辛顿的内容可参见前面第 7 章。
324
第三部分 第三波高潮