为了在多种 NLP 任务下都达到优秀的性能而不受到 NFLT 的打击，OpenAI在 GPT-2 的训练阶段就引入了多任务学习的方法，多任务学习并不是说要打破NFLT，找到一种万能算法来解决所有问题，而是将任务类型也作为训练的一部分，让不同的任务类型对应不同的算法，具有不同的输出。
为达到此目的，GPT-2 的训练目标里除了输入、输出外，还加入了“任务类型”的参数，如果将原来 GPT-1 的训练目标表示为“优化 P(Input|Output)”的 话， 那 GPT-2 的 目 标 就 变 成 了“优 化 P(Input|Output，Task) ”。 原 来 只 关注给定输入下模型输出与实际值的差异，现在模型会为不同任务的相同输入产生不同的输出，关注的是在特定任务中给定输入下模型输出与实际值的差异。
按设计，GPT-2 模型网络架构前端的几个层次将先对用户的意图进行识别，根据意图自动进行任务调节，再选择合适的任务输出。譬如在自然语言对话任务中，使用者可通过提示词（Prompt）驱动模型完成翻译任务，向模型输入“请将‘ How are you ？’翻译为中文”，对话模型回复“你好吗？”，即可认为它并不仅仅在对话，同时也在从事机器翻译工作。
GPT-2 的多任务目标是如此复杂，超过了当时所有的语言模型，BookCorpus数据集很难再支撑起这种规模的训练，因此 OpenAI 决定动用互联网这个人类历史上最为庞大的知识库来进行训练。它从 Reddit<sup>○一</sup>网站上根据点赞数自动抓取了 800 万份共计 40GB 的高质量文章作为训练数据，这些数据后来被称为WebText 数据集。
为了承载 WebText 众多文章中蕴含的知识，GPT-2 模型的规模也有了大幅度的膨胀，仅词向量的维度就达到了 1600 维，在维度如此之高的向量空间里，即使把地球上的所有语言、所有词汇的含义组合塞进去也会显得十分稀疏。GPT-2 的解码器层数从 GPT-1 的 12 层扩充到 48 层，模型参数数量也增加了 10 多倍，从 1.17 亿个增加到了 15 亿个。
根据 OpenAI 官方给出的测试用例，GPT-2 以零样本不进行微调的状态，使用八种不同的数据集作为测试集，在阅读、理解、总结、翻译、问答等 NLP任务上与当时执行这些任务效果最好的经典语言模型进行对比，结果是 GPT-2在大多数测试中都取得了优于传统模型的结果，仅在文本摘要任务上落后于经典模型。结果表明，在更大的数据集和更多参数上训练出能够处理多种任务的语言模型是完全可行的。
第 8 章 从学习到创造
337
○一 Reddit 是一个娱乐、社交及新闻网站。