生成式对抗网络无疑是一项将来能写进人工智能教科书的经典工作,它虽然是深度学习向生成式领域拓展过程中“必然”会被发明的技术,但对于个人而言,能否在 2014 年这个时间点率先提出生成式对抗网络、名字是否叫作生成式对抗网络、作者能否被学术界认可为生成式对抗网络的发明人依然是无比重要的。学术也是一座江湖,仅本书写过的历史故事中就有纽厄尔和司马贺、明斯基和麦卡锡的人工智能发明人之争,明斯基与罗森布拉特的感知机前途之争,等等。在生成式对抗网络诞生的过程中,也出现了一场把学术界的明争暗斗展露于明面之上的争吵。
2016 年,古德费洛决定将生成式对抗网络的论文投稿到“神经信息处理系统大会”(Conference on Neural Information Processing Systems,NIPS<sup>○二</sup>),没想到论文居然被拒稿了,而且拒稿的审稿人还是大名鼎鼎的于尔根·施密德胡伯(Jürgen Schmidhuber,1963—)。这位德国学者是瑞士人工智能实验室的科学主管、长短期记忆网络(介绍见 7.6.2 节)的发明人、当年(2016 年)的 IEEE神经网络先锋奖(Neural Network Pioneer Award)得主。
拒稿的原因并非施密德胡伯看不到生成式对抗网络的巨大价值,根据他本人给出的评审意见<sup>○三</sup>,他认为 1992 年由他本人提出的“可预测性最小化”(Predictability Minimization,PM)模型才是“第一个对抗网络”,而古德费洛只是将 PM 模型中编码器和解码器的方向倒置过来应用在图像生成领域,充其量就是一个 PM 模型的变种,要求古德费洛将模型名字改为“inverse PM”,作为 PM 模型的一种应用来发表。
第 8 章 从学习到创造
321
○一 现在应用最广泛的图片生成工具,不论是商业的 Midjourney 还是开源的 Stable Difusion,都是基于扩散模型的,从某种意义上说,相比另外两种生成式模型,扩散模型在研究热度上拥有压倒性优势,它优于 GAN 之处是非常善于生成并不存在的图像,通俗地说就是更具有创造性。扩散模型虽然在 2015 年被提出,但直到 2020 年 Jonathan Ho 发表了论文“ Denoising Diffusion Probabilistic Models”(DDPM)才开始被广泛应用起来。
○二 NIPS 是一个由贝尔实验室在 1987 年发起的机器学习和计算神经科学领域的学术会议,每年 12 月举行。这个名字似乎还残留着当年纽厄尔和司马贺主张以“ InformationProcessing ”替代“ Artificial Intelligence ”来命名人工智能的痕迹。另外,前面提到古德费洛将论文放到预印本网站 Arxiv 上并不是一稿多投,Arxiv 是不需要审稿的,网站不为文章提供任何背书,只是用来确认论文中内容最早的提出人与发表时间。
○三 评审意见地址:https://media.nips.cc/nipsbooks/nipspapers/paper\_files/nips27/reviews/1384.html。