OpenAI Five 是一个 Dota2 游戏<sup>○一</sup>的对战机器人程序，在 Dota2 比赛中成功击败了一众职业和半职业选手，展示了强化学习在复杂策略游戏中的应用。不过相比 Transformer 架构出现后所取得的突破性成绩，前两年的 OpenAI 击败几位职业选手的成绩充其量只能算牛刀小试。
作为序列到序列模型的创始人，苏茨克维看到 Transformer 架构的论文后，果断终止了 OpenAI Five 的后续研发，把 OpenAI 能够调动的资源都投向了基于 Transformer 架构的语言模型上。2018 年，OpenAI 发布了第一款命名为“生成式预训练 Transformer ”（Generative Pre-trained Transformer，GPT-1）的语言模型。
2018 年其实同时诞生了两个基于 Transformer 架构的优秀语言模型，一个 是 OpenAI 的 GPT-1， 另 一 个 是 谷 歌 的“双 向 Transformer 编 码 器 表 示”（Bidirectional Encoder Representations from Transformers，BERT），GPT-1 要比BERT 早发布几个月。这两个模型在基础理论（都是对 Transformer 架构的衍生）和主创人员的渊源（苏茨克维就是从谷歌人工智能团队出来的）上有着一定的联系，不过并不构成直接的竞争关系。BERT 是 Encoder-Only 架构，专注于 Transformer 的编码器部分，擅长理解和分析输入数据的内容，而 GPT-1 是Decoder-Only 架构，专注于 Transformer 的解码器部分，擅长预测语言模式，生成输出内容。限于本章叙事脉络的连续性，也考虑到几年后基于 GPT 的产品 ChatGPT 在公众认可度上占据了绝对优势，后续笔者就只讨论 GPT 模型的演进。
GPT-1 模型诞生之前，几乎所有的自然语言处理模型都是针对特定任务进行训练的，需要一个模型既能翻译又能对话，还能做总结摘要和编写代码，这种想法在当年就是不切实际地好高骛远，绝大多数语言模型训练者都坚信针对特定任务进行监督学习是毋庸置疑的铁律。如果读者还记得前文中提到的那个名字有些滑稽的“没有免费的午餐定理”（No Free Lunch Theorem，NFLT）的话，其实也应该赞同模型要“术业有专攻”的观点。那 GPT-1 真的是一个突破了 NFLT，“既能翻译又能对话，还能做总结摘要和编写代码”的模型吗？先别受以后 ChatGPT“无所不能”的影响，真实答案其实并非如此。
334
第三部分 第三波高潮
○一 Dota2 是一款 5 人对 5 人的著名竞技 MOBA 游戏，每年都有高达上亿美元奖金的国际挑战赛（TI 挑战赛）。