在 GPT-2 获得巨大成功的同时，OpenAI 团队内部及其投资人对语言模型后续的发展开始出现分歧。主要的分歧点有两个：GPT 模型要不要作为公共模型继续开源供全社会使用，以及 OpenAI 要不要开始进行商业化运作。
从某种意义上说，OpenAI 愿景中的“安全”和“公开”是一对矛盾体，如果所有企业都能平等地取得最先进的人工智能技术，对全人类来说到底是好事还是坏事？由于技术上的巨大成功，这些问题当时仅仅是潜藏于暗处的隐患。经过几个月确保模型安全、不被滥用的内部讨论后，GPT-2 的完整模型和全部代码最终还是在 2019 年 11 月开源，不过当时大概没人想到这是 GPT 系列模型的最后一次开源了，“ OpenAI”这个名字仿佛成了对 GPT 模型的讽刺，OpenAI 行进的路线与“致力于人工智能公共开发”的理想渐行渐远，也许就在此时，分裂的种子已被悄然种下。
2020 年，OpenAI 仍维持着每年一个大版本的节奏，发布了 GPT-3 模型。作为 GPT-2 的继任者，GPT-3 的目标是让模型能够执行更为复杂的任务，譬如编写 SQL 语句、解读文章背后的中心思想、根据用户要求撰写说明公文，等等。OpenAI 希望能够进一步增强 GPT-3 模型的零样本学习性能，对于上述不太依赖专业领域知识的任务，以便不施加额外的处理模型就能直接为普通用户提供服务。
从模型架构来看，GPT-3 的解码器层数从 GPT-2 的 48 层膨胀到 96 层，词向量的维度从 1600 维扩展到 12888 维，模型参数数量更是膨胀了 100 多倍，从 15 亿一下子到了 1750 亿<sup>○一</sup>，这种规模的模型即使不说训练，只考虑推理计算也已经超过了民用硬件的上限，基本与大众无缘了。为了训练 GPT-3，OpenAI同 时 使 用 了 五 个 数 据 集：Common Crawl<sup>○一</sup>、WebText2（Reddit）、Wikipedia、Books1、Books2（其中 Books1 和 Books2 的数据来源未公开）。
338
第三部分 第三波高潮
○一 这里可以插入一个额外知识说明为何 1750 亿（175B）规模的模型已脱离群众了：模型的空间大小基本上等同于参数数量乘以参数进度，以 16 位半精度浮点数（Half-PercisionFloating Point, FP16, 占 2 字节存储空间）为例，一个 70 亿（7B）参数量的模型大概需要占用 14GB 显存。当前（2024 年）许多大模型都会提供 7B、30B 的参数量版本，其最主要目的就是方便个人用户在主流规格的消费级显卡（具有 16GB 显存，如 RTX 4080）和专业级计算卡（具有 64GB 显存，如昇腾 910B）中运行模型。