智慧的疆界 从图灵机到人工智能

我的朋友小明借了我五块钱。

小明与我的关系是 。（答案：朋友）

人类之所以能轻易地得出后面这个问题的答案，是因为阅读了前面的话，并且记住了前面这句话的结论。而神经网络如果要正确推理，同样必须考虑词语上下文的记忆和出现顺序这些因素。

1982 年，物理学家约翰·霍普菲尔德（John Hopfield，1933—）提出了一种可用作联想存储器的互联网络，这个网络现在被称为“ Hopfield 神经网络”模型。Hopfield 神经网络是今天循环神经网络的雏形，它从输出到输入都有反馈连接，所以属于循环网络，可是 Hopfield 神经网络因为实现困难，外加没有找到合适应用，并没有特别大的发展，逐渐被前馈网络取代。

1990 年，加利福尼亚大学圣迭戈分校的心理学教授杰弗里·埃尔曼（Jeffrey Elman，1948—）发表了一篇名为《寻找时间表示的数据结构》（“FindingStructure in Time”）的论文，文中提出了循环神经网络最初的概念框架。虽然以前也有过专门的时间序列分析模型，譬如“隐马尔可夫模型”（HiddenMarkov Model，HMM），但将神经网络与时间序列结合起来，循环神经网络依然有它不可忽视的价值，但这个价值在很长的时间里都未能得到体现，与Hopfield 神经网络一样，循环神经网络暂时还没有找到可以施展的舞台。

直到 2003 年，本吉奥在他的论文《一种神经概率语言模型》（“ A NeuralProbabilistic Language Model ”） 中 把 循 环 神 经 网 络 用 于 实 现 N 元 语 法 模 型（N-Gram，这是自然语言处理领域著名的模型），收到了非常好的效果，循环神经网络才开始被这个领域的学者关注。自然语言处理是最适合循环神经网络的舞台，发展到今天，循环神经网络已经成为这个领域的主要工具之一。

循环神经网络之所以会被称作“循环”（Recurrent），是因为它对输入序列中的每个样本都执行相同的操作，循环神经网络的输出结果是基于以前的输出进行计算的，同时也会参与到下一轮循环作为计算输入。读者可以把循环神经网络理解成给神经网络中间的隐层增加了一个“反馈环”，这便相当于增加了一个拥有存储功能的辅助学习器，它对到目前为止所计算过的序列有一定的记忆能力。这个“反馈环”是循环神经网络的核心内容，被称作“循环连接”

第 7 章 深度学习时代

295

（Recurrent Link），就像图 7-26 中显示的一样，循环连接把隐层神经元的输入和输出连接起来，使得隐层输出端也作为输入的一部分，重新进入神经网络中。如果展开（Unfold）循环神经网络，可以将其视为一批所有层共享相同权值的深度前馈神经网络。

初期版本的循环神经网络只能进行有限次数的循环和记忆，超过这些范围的内容就必须被丢弃或者衰减得几乎消失，这被称为“短期记忆”（Short-TermMemory）效应。它其实是一种限制，因为没有很好地解决深度神经网络的梯度不稳定（消失或者爆炸）问题，由于循环连接的存在，经过循环处理的部分和直接增加网络隐层深度在形式上是差不多的，因此梯度不稳定问题曾经是循环神经网络面临的最苦恼的挑战，使得循环神经网络不得不设计成在有限轮次后就必须打断循环，以避免梯度不稳定，这便是短期记忆效应的由来。虽然具有短期记忆效应的循环神经网络也能解决一些简单的问题，但还是具有比较大的局限性。比如，面对以下场景时短期记忆网络就不能很好地处理。

1. 小明是小刚的朋友。

1. 小明家境优越。

1. 小刚生活拮据。

1. 小明乖巧懂事，学习成绩优异，是班里的尖子生。

1. 小刚活泼好动，对一切事物充满好奇，却无法安静地坐下来写作业，成绩较差。

1. 小明借了小刚五块钱，小明是

正确答案：小刚的朋友（来源于第 1 句）

错误答案：乖巧懂事的尖子生（来源于第 4 句）

296

第三部分 第三波高潮

要得到正确答案，就必须具备长期记忆的能力。为了增加这种“长期记忆能力”，人们研究出了各种循环神经网络的变体，其中最重要的是“长短期记忆网络”（Long Short-Term Memory，LSTM），用于解决长期及远距离的记忆依赖关系。

长短期记忆网络通过引入“门结构”和一个明确定义的“记忆单元”来尝试克服梯度消失或者梯度爆炸的问题。它允许向单元状态中移除或添加信息，通过门结构对信息进行管理，把远期记忆的内容也保留下来。后来，进一步发展出了“门控循环单元”等其他长短期记忆网络的变体形式。

今天，循环神经网络已经广泛应用于语音分析、文字分析、时间序列分析。如果主要解决的问题就是数据之间存在前后依赖关系、序列关系，一般首选长短期记忆网络；如果预测对象同时取决于过去和未来，可以选择双向结构，如双向长短期记忆网络。

不过，循环神经网络也有自身未能解决的重要缺陷，一方面是它天生顺序处理的特性，致使它无法进行有效的并行计算，必须按照序列的顺序来串行处理，这一点决定了循环神经网络在处理长序列时计算效率较为低下。另一方面是对长期记忆的处理，一旦依赖距离过长，循环神经网络就很容易面临梯度消失或梯度爆炸的问题。这使得尽管循环神经网络初步具备了处理长期记忆的能力，但在处理长距离依赖关系时仍然相对困难。这两个缺陷阻碍了循环神经网络成为处理大规模语言资料的最终解决方案，直到 2015 年注意力机制和Transformer 结构出现并成功解决了循环神经网络这两大问题以后，人工智能才真正迎来了自然语言应用上的大爆发。

7.7 从实验室到企业

深度学习之所以能够在 2012 年爆发式地迅速崛起，ILSVRC 2012 比赛是机遇，辛顿率先提出了可行的理论和方法，这算是内因；还有两个很重要的外因，分别是大数据的兴起，还有以“图形处理器”（Graphics Processing Unit，GPU）为代表的面向大规模并行计算设计的硬件有了长足发展，而这两点外因，企业都比学校和实验室有优势得多，与很多成功的技术一样，深度学习也

第 7 章 深度学习时代

297

是生于实验室，成长于企业的。

辛顿之所以今天被称为“深度学习教父”，不仅仅是因为他对深度学习的开创性贡献，也是因为他为这个领域培养了许多优秀的人才，并鼓励他们去IBM、Meta、微软、谷歌（这是 OpenAI、DeepMind 这些新生独角兽崛起前，领导人工智能领域的四大巨头企业）等大公司实习和工作。辛顿有着高度开放和包容的心态，许多著名项目的参与者、负责人都与辛顿有直接或者间接的关系，有很多是多级的师生关系，也有的是合作研究的伙伴，辛顿就像一个纽带，促进了圈子中不同群体之间的技术和信息流动。此外，辛顿允许所有人自由地使用他实验室的研究成果，以完善自己公司的系统，这实质性地推动了技术在产业中的落地。在媒体的采访中辛顿自己说道：“我们基本上对此毫无保留，因为我们着眼于证明我们技术的优势。”辛顿还表示：“有趣的是，微软研究院和 IBM 先于谷歌得到这项技术（指深度学习），但是在将技术转变成产品方面，谷歌却比任何公司都更加迅速。”这里辛顿所指的“比任何公司都更加迅速”，暗示的是谷歌著名的人工智能项目“谷歌大脑”（Google Brain）。

2007 年，深度学习爆发前夕，辛顿曾经在硅谷山景城（Mountain View，谷歌总部所在地）进行过一场关于深度学习的谷歌技术演讲，谷歌公司的员工和谷歌之外的许多极客都踊跃参与，这一演讲也同步在 YouTube 上直播，受到了很大的关注，其中就包括谷歌的顶尖技术大拿杰夫·迪恩（Jeff Dean，1968—）。可能很多程序员都熟悉迪恩甚至视其为偶像，但考虑到其他背景的读者，笔者还是介绍一下这位大拿。这可不是一般的技术极客，而是一位谷歌的传奇人物。迪恩在 1999 年加入谷歌时，谷歌还是一个只有几十名员工的默默无闻的互联网小公司，而他在计算机科学圈子里已经声名远扬。聘任迪恩是谷歌的一个里程碑。在加入谷歌的几年里，迪恩成为构建谷歌软件基础架构的领军人物，主导了谷歌的技术演进方向，后来引领大数据浪潮的 BigTable、MapReduce 这些如雷贯耳的重大项目都是他直接领导的。由此可见，迪恩对谷歌的技术如何发展有相当大的话语权。

2011 年，斯坦福大学人工智能实验室主任吴恩达（Andrew Ng，1976—，见图 7-27，因在百度负责“百度大脑”计划和在教育平台 Coursera 上主讲机器学习课程而被国内人工智能爱好者所熟知）向迪恩“安利”道：“现在风头已变，伴随着深度学习领域的突破，神经网络表现颇佳，如果谷歌能掌握训练大型网络的技巧，会发生奇迹的。”迪恩认为这听上去很有意思，在亲身涉足神经网络六个月后，他开始相信这确实会是未来互联网公司的必争之地。后来，大约用了一年时间，迪恩与吴恩达一起建立了“谷歌大脑”项目，这个项目立项于“Google X”—谷歌公司内部称为“高瞻远瞩”的研究部门，所谓“高瞻远瞩”其实就是不要求短期的产品产出，也不对研究项目有什么具体的、直接的经济价值上的要求。在这个部门里，谷歌大脑项目的目标最初被定义为“努力构建一个真正巨型的神经网络，并且探索它能做什么”。

298

第三部分 第三波高潮

谷歌大脑项目最开始的应用是尝试使用无监督学习来认知世界，在这项实验性的应用中，谷歌大脑的服务器（当时动用了 1.6 万个微处理器，创建了一个有数十亿连接的神经网络，人类大脑大概有 1000 亿个神经元连接）观看了千万数量级的 YouTube 图像和影片，以试图观察该系统能否学会将其所见到的东西定义出来。结果令人惊叹，仅仅依赖 YouTube 的影片内容本身，而没有任何人工标注和介入，该系统就自发辨识出了“猫”，并且自主地搜索了猫科动物明星的视频。迪恩在接受《纽约时报》采访时说：“在训练中，我们从未告诉它（指谷歌大脑）‘这是一只猫’，是它自己发现并总结出了‘猫’这个概念。”“谷歌找猫”经过媒体的传播，一时成为业界的佳话，不过这只是观察系统能做些什么的测试之一。很快，谷歌大脑项目组又建了一个更加强大的神经网络，并且开始承担类似语音识别的任务。

第 7 章 深度学习时代

299

谷歌大脑项目运作一年之后，谷歌就已经拥有了世界上最大规模的神经网络系统，并在谷歌各部门和产品领域有了成功应用，这样的成绩在外界看来已经相当不错了，可比起这个计划后来的进展，这只能算是谷歌大脑项目的起步阶段。

2013 年起，谷歌大脑从 Google X 部门转移到谷歌的 Knowledge 部门，从这时候开始，谷歌逐渐避免使用“大脑”一词。在对外宣传中，谷歌更倾向于统一采用“谷歌深度学习项目”这个名字，虽然这个名字听起来好像没有大脑“酷炫”。迪恩曾开玩笑说改这个名字是“为了避免爱护动物的人士在谷歌总部门前示威抗议”，但这显然是人工智能在谷歌战略版图中的地位发生了变化的体现，预示了谷歌大脑项目将会包容更多深度学习方面的研究项目。果然，在2013 年这一年里，谷歌就进行了一系列令人目不暇接的收购，那时候，连最乐观的投资者都不可能预料到这一年谷歌在深度学习上的一系列投资在几年后展现出来无限价值。

辛顿于 2012 年带着他的两名学生—苏茨克维和亚历克斯参加 ILSVRC2012 并夺魁后，就创立了一家仅有他们三名员工的深度学习创业公司DNNResearch，这是一家很典型的“空壳公司”，没有资金也没有资产，没有产品也没有业务，可是在 2013 年 3 月，这家小公司宣告被谷歌以 5000 万美元^○一的价格收购，谷歌在这次收购中没有获得任何实际的产品或服务，很明显这次收购只是招聘人才性质的收购，目的就是收购这个仅三人的小团队，而且仅购买其部分工作时间（辛顿仍有一半时间在大学从事研究工作）。事实上这并非谷歌首次给予辛顿团队的投资，在此之前就已经有过一些小额度（大约 60万美元）的资助。在本次收购里，谷歌固然得到了辛顿这样的学术泰斗加盟，对辛顿本人来说，也算是终于守得云开，以后再不必为了一点经费而四处奔波了。

自此以后，辛顿继续在多伦多大学任教的同时，也会定期在山景城的谷歌总部工作，成为谷歌大脑项目的主要参与者之一。不过即使这么“大手笔”的招聘式收购，也仅仅是谷歌那一年一系列重大收购之一，就在辛顿加入谷歌的前几个月，人工智能的乐观主义哲学家雷·库兹韦尔（Ray Kurzweil，1948—）、编写了人工智能课程的标准教科书《人工智能：一种现代方法》的作者彼得·诺维格（Peter Norvig，1956—）、自动驾驶汽车的主要发明者塞巴斯蒂安·史朗（Sebastian Thrun，1967—）等人工智能传奇人物都相继被谷歌聘用或者收购其所在的公司。

300

第三部分 第三波高潮

○一 当时有多家巨头在竞相收购，除了谷歌外，还有微软和百度等公司都报出了极为优渥的收购条件。谷歌并未公布确切的收购价格，因此此金额未被证实，只是网上的传闻。来源：https://36kr.com/p/533832.html。

谷歌在深度学习上的大幅战略投入，使其迅速占领了这波人工智能热潮的制高点，且不说谷歌深度学习项目所提供的用于谷歌各种产品的语言、翻译、智能推荐、图像识别、数字运营等内部人工智能服务的价值，也不去说像 TensorFlow 这种在深度学习圈子里有巨大影响力和庞大用户群的技术工具，单说谷歌 2013 年收购另一家英国人工智能创业公司 DeepMind 所带来的深远影响和广告宣传效应，就足以令谷歌在这一年对深度学习的投资决策，成为能够与当年谷歌收购 YouTube、Android 相媲美的卓越商业决策案例。如果不知道 DeepMind 公司没有关系，你肯定听说过 DeepMind 在 4 年之后发布的AlphaGo、Master 和 Alpho Zero 与韩国棋手李世石和中国棋手柯洁在围棋棋盘上进行的一系列人机大战，而大家没有看到的是，2013 年的一系列收购，才是这个传奇故事真正的开端。

各大企业对深度学习的关注和投入，普遍都是从 2012 年开始的，深度学习“三巨头”里，除了辛顿被谷歌聘任外，另外两人也成为企业竞相争夺的对象。

其中，卷积神经网络的发明人，被称为“卷积神经网络之父”的杨立昆是法国人（见图 7-28），博士毕业于匹兹堡大学医学中心（University of PittsburghMedical Center，UPMC），后来加入贝尔实验室工作，目前在纽约大学任教。杨立昆曾经在加拿大多伦多大学做过一段时间的博士后，博士后导师就是辛顿本人，所以也算是辛顿的半个学生，因这段博士后的经历，他被归属到“三巨头”和“加拿大黑手党”之中。辛顿不仅经典的工作堆成山，门徒也是遍地，可是要在他门下做博士后还是很有难度的，当年迈克尔·乔丹（MichealJordan，1956—，加州大学伯克利分校教授，与著名篮球巨星同名同姓，是本吉奥和吴恩达的老师）申请去他门下做博士后也被婉拒了。

第 7 章 深度学习时代

301

2013 年，杨立昆以纽约大学教授的身份兼职加入 Facebook，随后便着手组建了 Facebook 人工智能实验室（Facebook AI Research，FAIR）。杨立昆领导了 Facebook 的人工智能研究，主攻方向是自然语言处理、机器视觉和模式识别等领域。FAIR 也绝对是一个人才济济的地方，除了杨立昆亲自担任实验室主任外，还有 VC 理论和支持向量机的缔造者弗拉基米尔·万普尼克（Vladimir Vapnik，1936—）、随机梯度下降算法的发明人赖恩·布图（LéonBottou，1965—）、 高 性 能 PHP 虚 拟 机 HHVM 的 作 者 基 思· 亚 当 斯（KeithAdams）等都在此实验室工作。

根据 FAIR 的介绍，它主要专注于基础科学和长期研究，有 70% 的资源分配在这上面。Facebook 还组建了“应用机器学习”（Applied Machine Learning，AML）部门，由华金·坎德拉（Joaquin Candela）带领，主要负责将机器学习的研究成果落地到产品上，与 FAIR 的资源分配比例正好互补。

得益于 FAIR 和 AML 的工作成果，Facebook 在自然语言处理、人脸识别这方面确实处于业界领先的地位，例如它的人脸识别工具 DeepFace 已经能做到比人类更准确地识别两个不同的图像是不是相同的人。根据测试结果，DeepFace 的识别成功率为 97%，而人类是 96%。它发布的阅读文本的人工智能引擎 DeepText，能以接近人类的准确度去理解文字内容。在计算机语言学2017 年度大会（ACL 2017）上，Facebook 展示了如何通过阅读维基百科来回答开放性的问题，在扫描了大量维基百科网站页面后，能够回答诸如“17 世纪奥斯曼帝国有多少个省？“美国哪个州的座右铭是‘Live free or Die’？”“查德威克发现了原子中的哪个部分？”这样无前提约束的开放性问题。

302

第三部分 第三波高潮

深度学习“三巨头”中的最后一位—本吉奥（见图 7-29）与杨立昆一样是法国人，出生于首都巴黎，后来去了加拿大求学，目前在加拿大蒙特利尔大学工程系任教。本吉奥在神经网络上的贡献虽然没有辛顿那种经典工作堆积成山的气势，也不像杨立昆那样拥有卷积神经网络缔造者的头衔，但他在神经网络的很多方面都做了非常扎实且细致的贡献，今天我们在许多神经网络的应用领域中都能见到本吉奥的工作成果，例如前面介绍过的自然语言处理领域中的主要工具—循环神经网络和基于它发展出来的长短期记忆神经网络，还有词向量（Word Vector）等。总之，整个神经网络语言模型领域的关键技术，本吉奥都是最早的研究者，现在他还是这个领域最主要的学者之一。除此之外，在神经网络运算框架方面，虽然 TensorFlow 开始逐渐展露出一统江湖的趋势，但在 TensorFlow 出现之前，工业界用于神经网络计算的主流产品是一个名为“ Theano”的 Python 代数计算库，这个库可以说是 TensorFlow 的前身，它就是本吉奥负责的蒙特利尔大学机器学习算法实验室（Montreal Institute forLearning Algorithms，MILA）做出来的成果。

2018 年，美国计算机协会（ACM）为表彰辛顿、杨立昆、本吉奥在深度神经网络、深度学习概念和工程上的突破，将 2018 年图灵奖授予他们三人。

本吉奥是“三巨头”中年纪最小、资历最浅、表现也最为低调的一位，他一开始一直不愿意从学术界投身到工业界，不过经过 2012 年和 2013 年两年的酝酿，各个大型的互联网和 IT 企业都已经把人工智能视为必须进行战略布局的领域，本吉奥作为“三巨头”中最后一位尚未被企业聘用的成员，自然是炙手可热的宝贵资源。经过微软全球副总裁沈向洋长达数月的游说，本吉奥终于在 2014 年答应加盟微软研究院（Microsoft Research，MSR），担任微软研究院的人工智能战略顾问，为此微软还在很多网站和杂志上发表文章并接受采访，高调地宣告本吉奥的加盟。

第 7 章 深度学习时代

303

说起微软研究院，它曾是人工智能领域的领导者，20 世纪 90 年代，微软研究院聚集了许多计算机科学、物理学、数学领域受到高度认可的专家及著名科学奖项得主，其中就包括语音识别和计算机视觉的顶尖学者，他们在语音识别等领域做出了很多当时领先的成果，但是受到 20 世纪 90 年代第二次人工智能寒冬的外部环境和微软内部决策等因素的影响，微软误判了人工智能的前景，在后来的十几年里在人工智能领域并未再投入资源，从此微软研究院在这一领域就停滞不前了。当第二次人工智能寒冬过去之后，微软重新要在这个领域发力追赶时，起点已经落后于谷歌、Facebook 和 IBM 不少了。不过幸好微软在人工智能时代只是起步落后一些，依靠自身的巨额资金和极为深厚的技术底蕴，在人工智能方面重新投入资源后，还是很快就做出了一系列优秀成果。在技术方面值得一提的是其推出的“认知计算服务^○一”（Cognitive Services），它在文字、语音、语言理解等方面确实有很多创新和可取之处，现在是微软Azure 云的一个重要组成部分，也是 ChatGPT 模型诞生前 Windows 10 系统的智能助手 Cortana 的背后支撑。而在投资方面则更称得上硕果累累，雄厚的资本与眼光毒辣的投资部门，使得微软在 OpenAI 上的投资获得极高的价值回报，令其快速重新回到人工智能的第一梯队中。

上述辛顿、杨立昆和本吉奥三位机器学习“巨头”从实验室走到企业的经历，还有谷歌、Facebook 和微软等企业竞相追逐人工智能的行为，可以看作这十年来在人工智能这个方向上，学术界和工业界相互促进的一个缩影。在当前这次神经网络掀起的人工智能热潮里面，只要能够招聘到一名优秀的神经网络学者，用于人工智能研究的百万级经费就会拨到大学之中。传统的高校学术机构获得了大量的资源，也比之前有了更多可以自由调配的研究资金。这些都是学术界和工业界双赢的良性互动，与此同时，必须警惕前面两次人工智能寒冬的教训，避免过度夸大人工智能的能力和发展程度。目前确实有一部分企业和研究者似乎又一次陷入了盲目追逐的潮流之中，针对这种现象，辛顿说道：

304

第三部分 第三波高潮

○一 https://azure.microsoft.com/cn-us/services/cognitive-services。