智慧的疆界 从图灵机到人工智能

深度学习的出现让古德费洛的研究方向迅速脱离传统的统计学习算法，他在斯坦福大学的暑假期间，就迫不及待地搭建了一台 CUDA 服务器，并用它学习、训练辛顿的玻尔兹曼机。这件事也间接促使他在 2010 年决定攻读博士学位时，选择从美国来到加拿大，跟随“三巨头”中的本吉奥继续在深度学习领域深造。

古德费洛在酒吧断言当下算法的上限最多只能判别出某张照片是不是人类照片，而无法生成高质量人类照片时，一个念头犹如闪电般划过了他的脑海，他迫不及待地从酒吧赶回了宿舍，借着酒劲打开计算机编写程序。他只花了一个多小时、只测试了一次就成功实现了一个能够工作的图片生成程序。当他将MNIST 数据集^○一作为训练样例投喂给这个程序时，他那台只有 1.5GB 显存的GPU 服务器经过几十分钟的训练就成功输出了全新的手写数字图片，接着他将 Toronto 人脸数据集^○二投喂给这个程序，程序就真的凭空生成了此前世界上从未存在过的人脸照片。尽管不论从软件、硬件还是训练集质量来看一切都十分简陋，但这个简陋的实验品下却隐藏着后来被古德费洛命名为“生成式对抗网络”（Generative Adversarial Network，GAN）、被杨立昆评价为“过去 20 年来深度学习中最酷的想法”、被吴恩达评价为“一项重大而根本性的进步”的全新的生成式模型。甚至可以说，在人工智能的世界中，从此刻起诞生了一个崭新的研究方向：“人工智能生成内容”（Artificial Intelligence Generated Content，AIGC）。

8.3 生成式对抗网络

那个划过古德费洛脑海的念头大致是这样的：判别式模型与生成式模型也许并不是完全独立、泾渭分明的两种模型，如果人类无法凭自己的能力直接训练出性能足够出色的生成式模型，那么一个足够精确的判别式模型能否代替人类去训练出一个同样优秀的生成式模型呢？

第 8 章 从学习到创造

315

○一 这是一个手写数字图片的数据集，本书第4章曾使用这个数据集来演示感知机的工作原理。

○二 Toronto 人脸数据集：https://www.cs.toronto.edu/\~urtasun/courses/CSC411/hw3-411.pdf。

为了便于读者理解，笔者借助一个虚构示例来解释古德费洛的设计思路。以印假钞为例，干这种买卖最大的竞争对手并非同行，而是警察。如果假钞能够精致到连警察也无法分辨的程度，那就算完全掌握了“核心竞争力”。而作为警察，职责自然是持续提升自己的装备和业务水平，以便能够准确地分辨出真钞与假钞。在罪犯与警察造假鉴真的对抗游戏里面，就隐藏了生成式模型突破的奥秘。

首先，请读者扮演警察的角色，允许使用任何手段来识别一张图像（譬如图 8-2）是否真钞。目前效果最好的方法自然是使用基于深度学习训练的判别式模型，判别效果能好到什么程度呢？我们可以参考第 7 章中 ImageNet 大规模视觉识别挑战赛的结论，把 ILSVRC 数据集交由人类来判别的平均错误率是 5.1%，而 2015 年的冠军—残差网络（ResNet）的判别错误率已经达到了3.57%，已超越了人类平均水平。换言之，此时的技术水平已经可以让计算机扮演一个判别能力和人类平均水平大致相当的警察了。

接下来，请读者扮演罪犯的角色。一开始你印假钞的手段生疏拙劣，生成的图像几乎与完全随机的噪声无异，警察一眼就能看出真假。不过，只要警察将判别的结果告知你，你就有了强化学习的依据，知道了改进造假手段的方向。得到来自警察的反馈，你痛定思痛并经过长期练习，手法逐渐成熟，生成的结果逐渐从随机变得有序，也逐渐有了一些能以假乱真逃过警察法眼的高质量图像。

316

第三部分 第三波高潮

随着这个过程不断继续，警察会想出越来越复杂的技术来鉴别假币，罪犯也会想出越来越复杂的技术来伪造货币，这就是生成式对抗网络中“对抗”（Adversarial）的基本理念，这个场景中警察的角色就是判别器（Discriminator），罪犯的角色就是生成器（Generator），它们其实都是在同一个过程中训练出来的，整个生成式对抗网络的基本结构如图 8-3 所示。

古德费洛只花了两周时间就将当晚酒吧中迸发的奇思妙想写成了生成式对抗网络的同名论文《生成式对抗网络》，并放到预印本网站 Arxiv^○上，这个结构精妙的模型很快成为人工智能领域的热门话题。论文中古德费洛用数学技巧严格地证明了警察与罪犯对抗的游戏是一种零和博弈，当充分训练后，判别器与生成器的博弈结果将逼近纳什均衡点。根据博弈论中的最大最小值定理（Minimax Theorem）^○二，此时判别器甄别训练样例图像与生成图像的准确概率趋于等同，无限接近于 1/2，生成图片与真实图片均有一半概率被判定为真，一半概率被判定为假。换言之，造假者此刻已经成功制造出警察难以有效判别、能够以假乱真的图片了。

实事求是地讲，古德费洛花费一个晚上写出来的照片生成程序，输出的人类照片效果远远称不上以假乱真。编码的时间、训练的算力和数据集的质量都限制了训练出来的模型的输出结果顶多达到“看起来勉强像个人”的程度。如图 8-4 所示，最右侧 4 个方框里面就是原始 GAN 的生成结果，没有方框标识的是 Toronto 人脸数据集中的训练样例，这些图片都是长宽均只有 90 像素的灰度正面人脸，笔者认为即便采用酒吧里其他几位同学的传统思路，也完全能够达到类似程度的生成效果。

第 8 章 从学习到创造

317

○一 https://arxiv.org/abs/1406.2661。

○二 最大最小值定理是计算机结构体系与博弈论的奠基者冯·诺依曼在 1926 年提出的。在此语境中的含义是对于零和博弈中的两个玩家而言，最小最大策略与纳什均衡是一样的。

然而，只要是稍微具有人工智能学术素养的人，就能看出生成式对抗网络与此前其他生成式模型之间的差异：这是一个不依赖人工参与特征统计、不受人类能力限制的模型。这个特点如同辛顿提出深度学习的本质是无监督特征学习一样，只有机器能不依赖人类的特征描述和选取过程，才能突破人类在特征定义上的局限性。生成式对抗网络依靠机器而不是人工扮演判别器来完成类似于强化学习中奖励信号的反馈，如同桥梁一般将深度学习在判别式模型中的已有成果引导转化到生成式模型中，为发展陷入长期停滞的生成式模型领域打开了突破的新方向。随后几年的发展也证实了这个方向。GAN 的演进过程如图 8-5 所示。

2015 年，亚历克·拉德福德（Alec Radford）使用卷积隐层替换原来的全连接隐层，提出“深度卷积生成式对抗网络”（Deep Convolutional GAN，

318

第三部分 第三波高潮

DCGAN），显著提高了生成图片的分辨率和质量，证明了 GAN 完全具备生成高质量图片的潜力。

2016 年，英伟达研究副总裁刘洺堉（Ming-Yu Liu）提出“耦合生成式对抗网络”（Coupled GAN，CGAN），它可以通过共享部分生成器和判别器的参数来同时生成两个相关域中具备一致性的数据，这使得生成式对抗网络的输出结果从完全随机变为在一定程度上可被输入图像所影响，可实现诸如将夏天的景象转换为冬天的景象、将漫画风格的照片转化为真实风格的照片等应用。

2017 年，同样来自英伟达公司的研究员泰罗·卡拉斯（Tero Karras）发明了“渐增生成式对抗网络”（Progressive Growing GAN，PGGAN），提出可将多个 GAN 堆叠在一起，前一个 GAN 的输出作为下一个 GAN 的输入，达到从低分辨率（譬如 4×4 像素）的图像开始，逐渐提升到更高的分辨率（譬如 8×8像素、16×16 像素，最终到 1024×1024 像素）的目的。同年，谷歌将这项技术包装成“像素递归超分辨率”（Pixel Recursive Super Resolution）服务，号称可以去除栅格化的像素马赛克，还原（实际是迭代生成）成为肉眼可辨识的人物图像，效果如图 8-6 所示。

对于了解生成式对抗网络技术发展脉络的人来说，谷歌提供的这个服务并没有什么神奇之处，然而那时候（2017 年）GAN 尤其是 PGGAN 只在学术界的一定范围内流传，在工业界尚未广为人知，所以谷歌的“去马赛克服务”在当年拉满了话题热度。从传统信息学的角度来看，这个效果简直违背了香农定律，如同可以无中生有的魔法一般神奇，就像有人宣称他能够不通过下载，直接就从一个 BitTorrent 种子的哈希信息里面还原出整部电影那样令人惊诧。

第 8 章 从学习到创造

319

2018 年，英伟达把过去几年在生成式对抗网络上的研究成果进行整合，发布了 GAN 领域的集大成者—StyleGAN 模型（包括后来分别在 2019 年、2020 年改进的 StyleGAN2 和 StyleGAN3）。StyleGAN 不仅能够生成高质量、高分辨率的图片，还能够改变图片风格、对生成的结果进行精细化控制，譬如通过参数调整人物的动作、形态、肤色、表情、发型等各种特征。

8.4 学者与荣耀

2014 年，经过学术界和工业界几年时间的消化与酝酿，来到了深度学习在生成式领域迸发的临界点。生成式对抗网络诞生的所有前置条件都已经成熟，笔者认为即便没有那天晚上酒吧里古德费洛的灵光一现，生成式对抗网络也一定会在不久的将来换个作者、换个名字登上历史舞台。此观点可以通过现今最成功的三种图像生成式模型都是在 2014 年这个时间点前后同时被发现获得证明。除了生成式对抗网络以外，另外两种模型是 2013 年由迪德利克·金马（Diederik Kingma）提出的变分自编码器（Variational Auto Encoder，VAE）以及 2015 年由雅沙·索尔迪克斯坦（Jascha Sohl-Dickstein）提出的扩散模型（Diffusion Model）^○一。

320

第三部分 第三波高潮

生成式对抗网络无疑是一项将来能写进人工智能教科书的经典工作，它虽然是深度学习向生成式领域拓展过程中“必然”会被发明的技术，但对于个人而言，能否在 2014 年这个时间点率先提出生成式对抗网络、名字是否叫作生成式对抗网络、作者能否被学术界认可为生成式对抗网络的发明人依然是无比重要的。学术也是一座江湖，仅本书写过的历史故事中就有纽厄尔和司马贺、明斯基和麦卡锡的人工智能发明人之争，明斯基与罗森布拉特的感知机前途之争，等等。在生成式对抗网络诞生的过程中，也出现了一场把学术界的明争暗斗展露于明面之上的争吵。

2016 年，古德费洛决定将生成式对抗网络的论文投稿到“神经信息处理系统大会”（Conference on Neural Information Processing Systems，NIPS^○二），没想到论文居然被拒稿了，而且拒稿的审稿人还是大名鼎鼎的于尔根·施密德胡伯（Jürgen Schmidhuber，1963—）。这位德国学者是瑞士人工智能实验室的科学主管、长短期记忆网络（介绍见 7.6.2 节）的发明人、当年（2016 年）的 IEEE神经网络先锋奖（Neural Network Pioneer Award）得主。

拒稿的原因并非施密德胡伯看不到生成式对抗网络的巨大价值，根据他本人给出的评审意见^○三，他认为 1992 年由他本人提出的“可预测性最小化”（Predictability Minimization，PM）模型才是“第一个对抗网络”，而古德费洛只是将 PM 模型中编码器和解码器的方向倒置过来应用在图像生成领域，充其量就是一个 PM 模型的变种，要求古德费洛将模型名字改为“inverse PM”，作为 PM 模型的一种应用来发表。

第 8 章 从学习到创造

321

○一 现在应用最广泛的图片生成工具，不论是商业的 Midjourney 还是开源的 Stable Difusion，都是基于扩散模型的，从某种意义上说，相比另外两种生成式模型，扩散模型在研究热度上拥有压倒性优势，它优于 GAN 之处是非常善于生成并不存在的图像，通俗地说就是更具有创造性。扩散模型虽然在 2015 年被提出，但直到 2020 年 Jonathan Ho 发表了论文“ Denoising Diffusion Probabilistic Models”（DDPM）才开始被广泛应用起来。

○二 NIPS 是一个由贝尔实验室在 1987 年发起的机器学习和计算神经科学领域的学术会议，每年 12 月举行。这个名字似乎还残留着当年纽厄尔和司马贺主张以“ InformationProcessing ”替代“ Artificial Intelligence ”来命名人工智能的痕迹。另外，前面提到古德费洛将论文放到预印本网站 Arxiv 上并不是一稿多投，Arxiv 是不需要审稿的，网站不为文章提供任何背书，只是用来确认论文中内容最早的提出人与发表时间。

○三 评审意见地址：https://media.nips.cc/nipsbooks/nipspapers/paper\_files/nips27/reviews/1384.html。

古德费洛当然不会同意改名，但为了论文能够通过审稿，他还是修改了投稿给 NIPS 的论文，在最后部分专门提及了 PM 模型，增加了 GAN 模型与 PM模型的差异对比的内容。然而施密德胡伯依然不接受这些说法，私下里又通过邮件跟古德费洛进行了一番争论，以至于古德费洛写信给 NIPS 的组织者询问是否能够投诉声名赫赫的施密德胡伯。还好，要比名气背景的话，古德费洛的老师本吉奥也是有名的业界大拿，NIPS 最终采纳了论文另外两名审稿人的审核意见，让论文得以被接收。

古德费洛也没想到故事的高潮还在后面，在 2016 年 12 月的 NIPS 大会现场，他正在台上向听众介绍 GAN 的论文，一位神秘人物站起来打断演讲，在台下自顾自地向听众讲起 1992 年的 PM 模型^○一，此人就是施密德胡伯。古德费洛等待了几分钟，最后忍无可忍地怒斥施密德胡伯是将邮件来往中的个人争吵升级为几百人会场上的公开对峙，完全是浪费听众的时间。确实，一位 50 多岁成名已久的江湖名宿公开刁难一名刚刚出道的年轻人，在大众认知中无论如何也算不得是光彩的事情，古德费洛的驳斥反而比讲解论文时获得了全场听众的更多掌声。

虽然这场学术闹剧的中文信息寥寥，但在英文网络上的热度却不小，既有八卦也有严肃的学术讨论。古德费洛自己在推特上回应道：“点子一文不值，做出成果的人才有话语权。自己想到 GAN 的点子只花了 30 秒，做出来第一个可运行的 GAN 程序只花了一个多小时，撰写 GAN 论文只花了两个星期时间。”笔者理解这个回应的言外之意就是，施密德胡伯 1992 年提出 PM 模型的论文至今只有 190 多个引用量，对比他高达 13 万的个人论文总引用量来说，这个成果几乎没有被任何人注意到。既然生成式对抗网络就只有这么一点工作量，为啥你 20 多年时间都没有把它做出来，任它埋没在历史之中呢？

施密德胡伯“堂吉诃德”式的行事风格本就如此激烈，他跟辛顿、杨立昆、本吉奥等人之前都有过隔空论战的历史^○一，在 NIPS 2016 上与后辈公开争夺“生成式对抗网络之父”的头衔也显得有失风度。但中立地讲，无论是古德费洛灵光一现的念头还是一个多小时就成功生成照片的程序，都是建立在2014 年已经有了相对成熟的深度学习理论，有了比 1992 年算力提高千百倍能运行 CUDA 程序的 GPU 服务器，有了 Theano（2007 年）、Torch（2011 年）和Caffe（2014 年）等一系列神经网络计算框架的基础上的。要苛求当年的施密德胡伯将论文中的想法像古德费洛一样立刻做出来，显然并不公平，充其量只能说施密德胡伯提出的 PM 模型是超前于那个时代的，在论文发表后的 20 多年里，恐怕连他自己也将当年的想法置于脑后了，没有再想过要将它落地，直至它被一位年轻人重新发现。这个故事和当年物理学中洛伦兹比爱因斯坦更早发现相对论速度合成的数学公式，但受限于当时绝对时空观的思维局限，没能将其应用到相对时空观上，终被爱因斯坦摘得“相对论之父”的头衔异曲同工。

322

第三部分 第三波高潮

○一 视频片段地址：https://www.bilibili.com/video/av10431990/。

关于学术，我们不应过于“势利”，只盯着最新、最前沿的成果，而忽视了这些技术、方法是如何被发现的，前人有过怎样的思考和争议，犯过哪些错，走过哪些弯路，这些都是很宝贵的财富。也许还有很多像 PM 模型这样古老但有趣的想法被人们忽视了，有的是因为当年提出时思想太过超前，有的是因为落地缺少扎实的前置基础理论，或者硬件计算能力撑不起来而无人问津。这些工作不应该被埋没，如果能够重新挖掘出来的话，可能会给今天的研究带来很多新的启发。

关于学者，像发表广义相对论那样由一位天才学者单枪匹马就能震古烁今的爽文故事毕竟只是极少数，大多数学术理论类似于狭义相对论^○二，先由牛顿、迈克尔逊、麦克斯韦、洛伦兹等人在经典力学、电磁理论以及实验物理上进行前置的铺垫和积累，再由爱因斯坦集大成于一身而形成。也许人们谈起“相对论之父”时只会想到爱因斯坦，但科学的发展主要还是由群体的协作和积累来推动的。作为普通社会公众，科学进步的荣耀往往只能归功于发明者一人，而作为同在学术江湖的一员，对细节理解越多，便越会对荣耀背后的群体致以同样的敬意。

第 8 章 从学习到创造

323

○一 譬如在 2015 年辛顿、杨立昆、本吉奥联名在《自然》杂志上发表深度学习综述文章后，施密德胡伯发文指责他们三位行文偏颇，认为他们没有重视自己做出的诸多贡献。在2018 年图灵奖颁授给“三巨头”后，施密德胡伯发表公开信，引用了 200 多篇论文来怒斥 ACM，认为 ACM 将图灵奖“张冠李戴”，将许多自己实验室的成果归功到他们三位身上。

○二 爱因斯坦的原话：狭义相对论出现的时机已经成熟，如果我不发现，5 年之内肯定会有人发现；但广义相对论不一样，如果我不发现，50 年之内也不会有人发现。

8.5 语言奇点

第 7 章曾讲到辛顿与两名学生苏茨克维和亚历克斯组队赢得 ILSVRC 2012挑战赛冠军后，谷歌花费 5000 万美元收购了刚刚成立，没有任何实际产品或服务，就只有他们三名员工的“空壳公司”DNNResearch。当时这个新闻出来后，业界纷纷感慨谷歌重视学术的态度，称赞谷歌目光长远的人才战略。殊不知，这并非布局未来的战略，而是一笔实实在在的商业投资，真正体现了谷歌投资部门老辣独到的技术视野，等大家在短短三五年后重新审视这笔投资时，不得不承认无论从技术价值还是从商誉价值来衡量，仅投入 5000 万美元就能催生出一系列注定会载于人工智能甚至人类科技发展历史的发明，着实是惊人的回报。

8.5.1 序列到序列模型

伊尔亚·苏茨克维（Ilya Sutskever，1986—，见图 8-7）是辛顿的学生，而且是真正意义上的“嫡传弟子”，他的本科、硕士研究生和博士研究生学位都是

在辛顿的指导下获得的。要成为辛顿的学生并不是一件容易的事情，毕竟辛顿连本吉奥和吴恩达的老师迈克尔·乔丹（Micheal Jordan）的博士后申请都拒绝过。当时要作为辛顿的学生也不像是一个明智的选择，深度学习爆发之前，多伦多大学一直就流传着一句话：“不要去辛顿的实验室，那是没有前途的地方。”更多关于辛顿的内容可参见前面第 7 章。

324

第三部分 第三波高潮