深度学习的出现让古德费洛的研究方向迅速脱离传统的统计学习算法,他在斯坦福大学的暑假期间,就迫不及待地搭建了一台 CUDA 服务器,并用它学习、训练辛顿的玻尔兹曼机。这件事也间接促使他在 2010 年决定攻读博士学位时,选择从美国来到加拿大,跟随“三巨头”中的本吉奥继续在深度学习领域深造。
古德费洛在酒吧断言当下算法的上限最多只能判别出某张照片是不是人类照片,而无法生成高质量人类照片时,一个念头犹如闪电般划过了他的脑海,他迫不及待地从酒吧赶回了宿舍,借着酒劲打开计算机编写程序。他只花了一个多小时、只测试了一次就成功实现了一个能够工作的图片生成程序。当他将MNIST 数据集<sup>○一</sup>作为训练样例投喂给这个程序时,他那台只有 1.5GB 显存的GPU 服务器经过几十分钟的训练就成功输出了全新的手写数字图片,接着他将 Toronto 人脸数据集<sup>○二</sup>投喂给这个程序,程序就真的凭空生成了此前世界上从未存在过的人脸照片。尽管不论从软件、硬件还是训练集质量来看一切都十分简陋,但这个简陋的实验品下却隐藏着后来被古德费洛命名为“生成式对抗网络”(Generative Adversarial Network,GAN)、被杨立昆评价为“过去 20 年来深度学习中最酷的想法”、被吴恩达评价为“一项重大而根本性的进步”的全新的生成式模型。甚至可以说,在人工智能的世界中,从此刻起诞生了一个崭新的研究方向:“人工智能生成内容”(Artificial Intelligence Generated Content,AIGC)。
8.3 生成式对抗网络
那个划过古德费洛脑海的念头大致是这样的:判别式模型与生成式模型也许并不是完全独立、泾渭分明的两种模型,如果人类无法凭自己的能力直接训练出性能足够出色的生成式模型,那么一个足够精确的判别式模型能否代替人类去训练出一个同样优秀的生成式模型呢?
第 8 章 从学习到创造
315
○一 这是一个手写数字图片的数据集,本书第4章曾使用这个数据集来演示感知机的工作原理。
○二 Toronto 人脸数据集:https://www.cs.toronto.edu/\~urtasun/courses/CSC411/hw3-411.pdf。