智慧的疆界 从图灵机到人工智能

“如今神经网络理论开始奏效，因而工业界及政府也开始将神经网络当作人工智能。以前整天嘲笑神经网络的人工智能研究者也乐在其中，并计划从中分一杯羹。”

这句话带有浓厚的警示味道，从历史上看，无数的事例证明了如果某一项事物发展到所有人都在追逐，不论相关的还是不相关的人都在吹捧它，那很可能就意味着该事物已经处于顶峰，后面最需要做的并非继续盲目加大投入，而是更加清醒地认识到未来的挑战，并审慎地反思当下的策略。

7.8 挑战与反思

深度学习在近几年已经获得了数不尽的成功与荣耀，但是这项伟大的技术距离完美还有很长的路途，同样面临着一系列复杂的困难与挑战，它们仿佛是一个层层嵌套关联的解谜游戏，产生出一层层迷雾，套在深度学习和神经网络身上。本节我们来一同看一下今天的深度学习还有哪些不足。

1. 效率

目前深度神经网络的效率其实非常低下，很无奈地说，之所以神经网络和深度学习大行其道，可能是因为目前我们并没有更好的解决手段。

深度学习就是一种数据驱动的算法，大量的数据是建立精确模型的前提和保证。就像人类需要从经历中总结经验、学习和提取信息一样，人工神经网络也需要大量的数据来分析、提取和训练。越复杂、越强大的模型就需要越多的参数，同时也意味着需要更多的数据来支撑。如果我们要训练一个语音识别程序，势必就需要不同方言、不同长度的语音数据以及人口数据，并将这数以亿万计的数据送到深度神经网络中，经过漫长的训练和调优后才能得到实用化、有商业价值的语音识别程序。这是一个十分漫长的过程并且需要巨大的算法处理能力，无论谷歌、Facebook 还是微软等，都是由一群业界精英经过了好几年的技术积累才达到了今天这样的高度。今时今日，可以说利用深度学习解决某一个问题就是一个如何充分利用巨量数据的问题。

第 7 章 深度学习时代

305

要处理大量数据，机器就必须拥有处理庞大数据的能力。为了缩短训练时间、提高效率，现在训练深度神经网络时通常会使用多卡高性能 GPU 来配合工作，甚至使用超算中心来完成。这些设备除了价值不菲外还会带来很高的能耗，这种计算能力的需求在一定程度上限制了深度学习的应用范围，现在连智能手机、无人机和可穿戴设备等都开始需要小型的高效神经网络处理单元，更加需要平衡效率、能耗、成本及可用性的关系。

深度学习对数据量和运算能力的依赖是显而易见的，这一点已经被人们普遍接受。可是，我们无法忽视的事实是，一贯以处理海量数据、高效高速计算这些特点为傲的电子计算机在这个领域其实是极不适应、效率非常低下的。神经网络确实是在模仿人脑从经验中总结、学习和提取信息，但人类的认知过程所需要的数据量比深度学习要少好多个数量级。仅需要课堂上老师一两分钟的讲解和模仿，人类就可以辨认字母或者单词的不同印刷和手写字体；人类要分辨雪狼和萨摩耶，只要看过几张它们的图片就可以轻易做到，根本不需要把 YouTube 上数以千万计的影像图片翻个遍。我们人类大脑的神经元数量十分庞大，但是细胞之间依靠神经递质来传导信号，这是一种化学信号传递，比起计算机的电信号传递，速度上要慢好几个数量级^○一，但即使在这样大的速度差距下，目前人脑的认知能力也可以轻易碾压计算机。此外，能效上的差距也同样巨大，如果把人类大脑的活动转换成电能的话，仅相当于一只 20 瓦灯泡的功率，而谷歌大脑在运作时，甚至需要配备专用的电厂来支撑。这些事实似乎从侧面向我们诉说着深度学习虽然由模拟人脑而来，但是远未找到人脑生物结构中的精髓，还处于非常初级的阶段。

1. 理论基础

人们模仿鸟儿飞行创造出飞机，飞行方式与鸟类扇动翅膀获得上升力并不相同，飞机之所以能飞得比所有鸟类更高更快，关键是因为人类已经掌握了空气动力学的理论。计算机向人脑学习智能，要有跨越式的突破，关键点大概也不会在于模仿得多么接近人脑结构，而是最终能够发现其中的理论基础。目前，神经网络效率不高就是没有理论基础去指导优化的一种外在表象。但是寻找到产生智能的理论谈何容易，针对这个问题，科学界已经经过了大半个世纪的努力，目前还是迷雾重重。

306

第三部分 第三波高潮

○一 神经元内部的神经信号也是一种电信号，但是细胞体之间是靠着释放化学物质令其他细胞的神经元产生刺激来传递神经信息的，这个过程的速度只有每秒数米。

图灵在提出“学习机器”概念的论文里表达的观点十分明确，可以简单归纳为一句话：“计算机可以思考却不需要和人类一样地思考，计算机能够学习却不需要和人类一样地学习。”图灵认为计算机应该凭借它的快速、精确、可复制等特点，扬长避短地找到通向智能的道路，而不必受生物结构的牵绊。随后兴起并长期占据人工智能研究主流的符号主义学派的观点直接继承自图灵。最初，整个科学界都很认可这种观点，导致了符号主义学派的快速崛起，但是，事实证明了哪怕是当时最保守的学者都严重低估了机器通过逻辑演绎去实现人工智能的难度，经过一系列尝试与挫败之后，人们终于不得不承认基于符号和规则的机器学习所能处理的实体和规则数量，距离现实世界所存在的几乎无穷无尽的自然规律和它们相互作用的组合，有不止十万八千里的差距，要由此获得智能简直无异于蹇人升天、水中揽月。

由于符号主义的研究不断遭受挫折，进展缓慢甚至停滞，科学界才不得不退而求其次，把研究的主要方向转到模仿大脑的神经元结构和探求生物拥有学习能力的本质上，这条道路也很难，但最起码是有可仿照之物作为参考的。基于仿生和连接主义来获得学习能力，其中最主要的不足是现在人类自己都没搞清楚自己的大脑是如何思考和学习的，所以让计算机去模拟人类大脑思考这件事情的基础本身就不太牢靠，如果说连接主义在算法实现这类微观层面还有一些严谨的推理过程的话，那它在宏观层面是没有太严密的理论支撑的，譬如现在许多应用案例中，用神经网络来做自动驾驶或者人机对弈，这些应用各需要多少层的网络、初始连接权重值如何配置、模型如何训练、模型或者网络拓扑结构应该如何设计等都没有一个最优准则，还处于主要凭经验和试错来实现效果的原始摸索阶段。所以说这种仿生的机器学习，现在依赖的不是现实世界的本质规律，而是大量数据样本中体现出来的规律和特征。

第 7 章 深度学习时代

307

1. 不可解释性

没有足够牢固的理论基础，所带来的直接后果是神经网络“只能知其然，而无法知其所以然”的尴尬。对于神经网络，我们知道了模型的参数，也知道了输入的数据以及如何将这些连接成网络的方式，但还是无法知道它是如何实现这一过程的。神经网络就像一个神秘的“黑箱”，它有十分神奇的功能，但是我们对它如何工作、如何推演的过程却无从知晓，这就是常说的神经网络的“不可解释性”。神经网络的不可解释性阻碍了这一技术的抽象和总结，限制了高水平认知智能的研究和发展。同时神经网络的操作对于人类来说太过抽象，我们无法很好地验证它的工作过程是否合理，但是有一点可以肯定，现在的神经网络并不符合人类一贯的科学直觉。

目前人类发现的诸多科学真理，普遍都带有简洁明了的性质，复杂如物理上的质量和能量之间的关系，可以用一个简单的质能方程 $E = m c ^ { 2 }$ 来表达，电场、磁场之间的关系可以用简洁的麦克斯韦方程组来描述清楚，数学上简单的欧拉公式 $e ^ { \pi i } + 1 = 0$ 就把三角函数和指数函数之间的关系桥接起来。类似的例子还有很多，即使是统计学和概率学这种同样面向大量数据的科学，最终也可以使用严谨简洁的方法去表达数据的内在联系。根据之前探索世界的经验，人类总是更愿意相信世界的本质应该是可以被数学所描述的，但是神经网络无疑不具备这样的性质，我们愿意相信神经网络是寻找智能道路上迈出的一大步，但如果说神经网络本身就是最终解决问题的钥匙，那确实是有违科学直觉的。

早在皮茨那个时代，神经网络概念才刚刚提出，他就已经注意到并试图解决不可解释性的问题了（指皮茨那篇被自己烧毁的试图通过概率论解决神经网络不可解释性问题的博士论文）。时至今日，这个问题依然是神经网络的前沿课题，是深度学习“任务清单”里重要程度最高的几项之一，目前学术界提出的一种思路，是希望将神经网络这一连接主义的代表性技术与符号主义相结合，因为可解释性正是符号主义的强项之一。伦敦帝国理工学院教授、DeepMind 公司科学家默里·沙纳汉（Murray Shanahan）及其团队还发表了一篇讨论深度符号强化学习的论文，试图寻找解决这一问题的方法。

308

第三部分 第三波高潮

1. 灵活性和适应性

深度学习模型一旦训练完成，往往就可以十分精确地处理特定的问题，然而目前的神经网络具有高度分化的专一性，只能在特定的问题上具有良好的表现。如果需要解决其他问题，就必须从头开始训练一个全新的神经网络。DeepMind 公司科学家雷亚·哈德塞尔（Raia Hadsell）曾就目前这种状况给出了一句通俗的总结语：“这个世界上没有哪个神经网络可以同时完成物体识别、音乐识别和玩《星际争霸》游戏这些任务！”

神经网络的这个表现当然是符合“没有免费的午餐定理”（见第 6 章）的，但是并不符合“经济规律”—它非常不划算。所有的算法，甚至包括我们人类解决问题的方法，都受“没有免费的午餐定理”的约束，我们不可能去追求某种能解决一切问题的方法或者机制。可是，人类在解决新问题，尤其是相似问题的时候，也并不是完全从零开始构思的，而是建立在以前的经验基础之上。神经网络在这一方面又是一大弱势，它很难利用之前的已有成果，只要任务稍微改变一点，哪怕是相似的任务，它也需要重新进行训练和评估，这个缺陷是其不可解释性的直接后遗症之一，不可解释，自然就难以总结，难以重复利用。华盛顿大学计算机科学教授、《终极算法：机器学习和人工智能如何重塑世界》（The Master Algorithm ：How the Quest for the Ultimate LearningMachine Will Remake Our World） 一 书 的 作 者 佩 德 罗· 多 明 戈 斯（PedroDomingos，1965—）调侃道：“机器人可以学会拿起瓶子，但如果你想要它拿起一个杯子，就得从头开始训练。”

如何使神经网络具备灵活性和适应性，可以说是这个领域最终要解决的问题之一，这个问题潜藏着神经网络被共享、复用和构建更大规模架构的可能性。要在大尺度上彻底解决这个问题极为困难，可是一旦突破了这个障碍，神经网络将很可能取得今天所有人都难以想象的成就，甚至有可能是弱人工智能走向强人工智能的里程碑。

现在，解决深度神经网络灵活性和适应性问题主要有两个突破方向：一个是深度学习中以利用已经学会的知识为目标的“预训练和微调”（Pre-trainingand Fine-tuning）方法。辛顿在论文中明确指出了基于预训练的基础模型微调参数要比直接使用参数完全随机地初始化模型有效得多。因此，在有逻辑关联性的前置、后置任务间就有可能利用此前的学习成果来更好地完成后置任务。譬如通过预训练好的能识别语言、语法和词频概率的基础语言模型，配合中小学语文和数学知识的微调来辅导学生功课，配合企业财务知识的微调来学会做公司财务会计，等等。另一个突破方向是“迁移学习”（Transfer Learning）方法。广义上预训练和微调也属于迁移学习的范畴，但现在大家讲得更多的还是两个独立神经网络模型之间的狭义迁移学习。譬如已经有了一个使用卷积网络训练的能够区分雪狼和萨摩耶的模型，模型中较浅的卷积层用于分辨像素和较为初级的几何特征，如第一个卷积层中进行边缘检测，第二个卷积层中聚类了相似的几何形状，等等。随着卷积层越来越深，所表达的内容也越来越具体，如到第十个卷积层中就能判断物体到底是狼还是狗了。这里很容易想到这个模型的前几层做轮廓识别的部分是可以被其他任务复用的，日后要训练一个识别鸡还是鸭的模型时，就可以迁移过去。

第 7 章 深度学习时代

309

另外，当下同时面向多个输入源头的“多模态学习”（Multi-modalLearning）与同时面向多个输出目标的“多任务学习”（Multi-task Learning）方法正在兴起。2020 年来自谷歌大脑项目团队和多伦多大学的研究人员发表了一篇关于多模型学习的新论文，通过综合视觉、语言和语音神经网络的优势可以实现同时解决多种不同任务的深度学习模型，包括图像识别、翻译和语音识别等方面，致力于创造出一种可以适应多种任务的神经网络架构。

7.9 本章小结

人工智能发展至今已经经历了两次低谷，对于某个依赖人工智能这门学科生存的研究人员和从业人员个体而言，人工智能的寒冬可能会带来很严重的打击，甚至可能令人从此一蹶不振。但是对于人工智能整个学科而言，寒冬其实并没有那么可怕，物理学家马克斯·普朗克（Max Planck，1858—1947）曾说过：“科学每经历一次葬礼就前进一步（Science advances one funeral at atime）^○一。”即使在人工智能的冰河时期，尽管主角更迭，但机器学习这个领域

310

第三部分 第三波高潮

○一 原意是指持有旧观念的科学家死亡或退出并非坏事，因为它会给新一代持有新观念的科学家让出舞台从而推动科学的进步。

的发展也仍然在继续前行。

在神经网络沉寂低迷的几十年时间里，机器学习领域先后出现过以支持向量机为代表的统计学习理论，出现了以 Boost 算法为代表的可学习性理论哈佛大学教授莱斯利·瓦利安特（Leslie Valiant，1949—）以此理论获得 2010年图灵奖，还出现了以图模型为代表的基于概率推断的学习方法—加州大学洛杉矶分校教授朱迪亚·珀尔（Judea Pearl，1936—）以概率图模型获得 2011年图灵奖。这些都是机器学习领域不可忽视的重要进步，其中任何一项都足够在书中作为主角单独列出章节来书写一番，不过它们的故事与今天的神经网络比起来，仍然少了一丝曲折跌宕的传奇色彩。

辛顿在神经网络方面努力了 40 年，在 2006 年之前长期没有获得多少关注，直到发表了一系列关于深度学习的突破性的论文，迎来神经网络的复兴，才算是苦尽甘来。随后，研究者提出了越来越多有效的训练网络的方法和网络模型，令深度学习踏入了许多以前被认为计算机无法涉足的领域，从下棋到作曲、写诗，从辨认文字图像到自动驾驶汽车，深度学习已经创造了许许多多的奇迹，这一切共同引领了今天这场深度学习的热潮。

对于人工智能的从业人员，无论是学术界的研究者还是工业界的开发人员，甚至是还在校园求学，刚刚开始对这个领域萌生兴趣的学生，今天就是最好的时代，愿你我都能不负好时光！

第 7 章 深度学习时代

311

第 8 章

从学习到创造

What I cannot create, I do not understand.

凡是我不能创造之物，即表示我仍然未能领会。

理查德·费曼（Richard Feynman），“费曼的黑板遗言”，1988年

8.1 概述

人工神经网络的概念最初由皮茨和麦卡洛克在他们的“机械大脑论”中提出，然后被罗森布拉特和他的“感知机”首次带到公众视野之中，再随着明斯基对感知机的学术攻伐与全社会从巨大希望转向巨大失望的反噬，神经网络陷入了长达 30 年的蛰伏期，最后，经过深度学习“三巨头”辛顿、杨立昆、本吉奥为首的一代学者二三十年坐在冷板凳上的潜心研究，终令神经网络得以重返人工智能舞台的中央。这段跨越数十年，几代学者明争暗斗，学术与利益纠葛交织的真实故事比小说、电影情节都更跌宕起伏。然而，大概是最富有想象力的作家编剧也不可能料想到，此时隐匿于人工智能舞台的大幕之后，还有一波比深度学习更加波澜壮阔的高潮在悄然酝酿，传承于辛顿、杨立昆、本吉奥等人的新一代年轻学者，会在“创造能力”的新篇章里创造出比当下“学习能力”更令世界瞩目的成就。

8.2 引言：“技术宅”改变世界

2014 年春夏之交的一个夜晚，在加拿大蒙特利尔著名的“ The ThreeBrewers”酒吧里，几位来自蒙特利尔大学的高才生正在为他们的师兄举行博士毕业的庆功宴。这群年轻人多是本吉奥的学生，与大多数年轻小伙子一样，在酒吧喝酒，谈论的话题总是离不开漂亮姑娘。而这几位师承本吉奥的高才生与大多数年轻小伙子又不一样，当晚他们谈论的话题是有没有可能利用神经网络，让机器制造出一些美女的照片。

长期以来，机器学习的主流任务是分类和聚类，应用场景主要是做预测或者做决策，用于这些任务场景的模型被称作判别式模型（DiscriminativeModel）。除此之外，还有一种任务类型是根据已有数据或者给出已知特征，让机器生成具有特定特征的数据，完成这类任务的模型就被称作生成式模型（Generative Model）^○一。

生成式模型不是新鲜事物，出现的时间其实非常早，1957 年美国作曲家雷贾伦·希勒（Lejaren Hiller，1924—1994）就用同构马尔可夫链来产生有限控制的随机音符，然后通过和声与复调规则来测试音符，最后选择符合规则的素材修改、组合成传统音乐记谱的弦乐四重奏《依利亚克组曲》（Illiac Suite），这是人类历史上第一部由计算机生成的音乐作品。1966 年，数学家伦纳德·鲍姆（Leonard Baum，1931—2017）提出“隐马尔可夫模型”，这是业界首个被广泛使用的生成式模型（尤其在声音处理领域）。但是，生成式模型的应用场景依然长期处于成果寥寥的窘态，想想也不奇怪，输出相对简单的判别式模型都要到深度学习兴起后，才大量涌现出突破性的应用，输出更为复杂、难度更高的生成式模型自然很难成为人工智能应用的主流。

在酒吧里，年轻人提出可以用神经网络学习图片的特征，尝试对图片中的几何特征进行统计分析，建立一个人类照片的概率统计模型，然后让机器根据模型来产生不同的符合概率的几何形状，从中筛选出人类照片。这种想法完全符合当时机器学习应用最正统的研究思路，受到多数参与讨论者的赞同，唯有伊恩·古德费洛（Ian Goodfellow，1987—，见图 8-1）认为这种思路根本行不通，他直言当下机器学习的能力上限最多也就能做到比较准确地分辨出给定的照片是不是人类照片（原理参照第 7 章分辨雪狼和萨摩耶的例子），要凭空生成人类的照片，且要求质量优良的话，已经超出了当下所有已知模型和算法的能力。

第 8 章 从学习到创造

313

笔者这种解释判别式模型和生成式模型的方式在逻辑上其实有倒果为因的嫌疑。从学术定义上看，判别式模型是评估条件概率分布的模型，生成式模型是评估联合概率分布的模型，是因为有这两种不同的模型才有对应的不同的任务类型与应用场景，而不是反过来根据它们的任务来定义模型的类别。不过，普通读者并不需要追求严谨的精确逻辑，通过任务类型来区分，反而要比弄清楚什么是条件概率分布、什么是联合概率分布有效得多。

此时的古德费洛年仅 27 岁^○一，也是一名即将毕业的博士研究生。他的本科和硕士阶段都在斯坦福大学度过，师从斯坦福人工智能实验室主任吴恩达（Andrew Ng，1976—）。根据他本人的自述^○二，那时候他接触的主要是支持向量机（SVM）、提升算法（Boosting）、最大熵方法这样的传统统计学习算法。当他从朋友伊桑·德雷福斯（Ethan Dreyfuss）那里听到了辛顿关于深度信念网络的演讲后，瞬间就意识到深度学习可以弥补传统方法的诸多缺陷，譬如支持向量机在模型设计上缺乏自由度，以及模型能力上限制较大等问题。简单地讲就是，古德费洛认为即便给支持向量机投入再多的数据，也无法让它变得更智能，而深度神经网络目前还看不到上限，随着算力和数据的增加，它完全可以变得越来越“聪明”。

314

第三部分 第三波高潮

○一 网络上的资料对古德费洛的出生年龄有不同的版本，英文维基百科上给出的时间是 1987年，而一些资料以及 ChatGPT 给出的回答是 1985 年。无论哪一种是准确的，他在当时都不满 30 岁。

○二 古德费洛的求学经历，以及后面那段犹如受神灵启示一般一个晚上就完成了 GAN 编码 的 故 事， 都 来 源 于 他 的 自 述：https://medium.com/dsnet/interview-with-deep-learning-researcher-and-the-ganfather-dr-ian-goodfellow-cd300863ecff。