GPT-1 在学术界、工业界的反馈都很不错，展示了预训练语言模型经过微调后在各种 NLP 任务上的优秀泛化能力。不过，GPT-1 在公众影响力上相对一般。想想也是，语言模型要能够广泛传播，构筑起公众影响力，除了要有优秀的输出质量，最好还要能够下载下来开箱即用，必须经过监督微调后才能使用的语言模型，对公众来说门槛还是太高了。
2019 年，OpenAI 发布了 GPT-2 模型，第二代 GPT 模型的最大变化点是针对“零样本学习性能”（Zero-Shot Learning Performance）和“少样本学习性能”（Few-Shot Learning Performance）进行改进。零样本、少样本学习的性能指标体现了模型面对从未见过的任务或问题时，能否凭借预训练过程中学到的通用知识和推理能力提供合理的回答或解决方案。具备这种能力的 GPT-2 模型只需要很少量的微调，甚至几乎不需要微调就能执行各种 NLP 任务。
336
第三部分 第三波高潮