从模型架构层面来看，InstructGPT 与 GPT-3 是高度雷同的，均是 96 层解码器和 1750 亿参数量，但从训练层面来看，InstructGPT 采用的训练方法与数据集都与 GPT-3 有显著区别。InstructGPT 使用“人类反馈强化学习”（Reinforcement Learning from Human Feedback，RLHF）进行训练，RLHF 使模型能够在人类的指引下更好地理解复杂的指令并生成符合用户期望的输出，提高了模型对用户意图的捕捉能力。后来，InstructGPT 训练相对成熟后再与GPT-Turbo 分支融合，最终形成了代号为“ GPT-Turbo-Instruct”的分支，这四个分支（GPT、GPT-Turbo、Instruct GPT、GPT-Turbo-Instruct）便构成了当前GPT-3.5 模型的四种主要版本。
实际上，GPT-3.5 模型从来没有像 GPT-1、GPT-2 那样单独发布过，却是截至笔者落笔之时（2024 年年中）最为公众所熟知的语言模型，原因相信大家都清楚，OpenAI 在 2022 年 11 月发布了划时代的 ChatGPT 产品<sup>○一</sup>，其背后所依赖的语言模型便是 GPT-3.5 四个版本中的“GPT-3.5-Turbo”。
ChatGPT 的诞生所带来的影响比历史上任何一次人工智能事件的影响都要更加广泛，它不再是实验室里的科研突破，也不再是哪项比赛上赢了某位世界冠军的“少数人事件”，而是已经来到你我面前，普通人也能够看得见、摸得着的公开产品。ChatGPT 在短短五天内就发展了 100 万用户，展示出来的效果彻底颠覆了过去人们对人工智能助手的呆板印象。关于 ChatGPT 的故事与新闻在各大传统或网络媒体上已汗牛充栋，笔者不再重复。反正自此以后，就没有什么人再敢讥讽人工智能助手为“人工智障”了。对于普通大众来说，他们在切身感受到人工智能发展的同时，对人工智能带来威胁的忧虑情绪也积聚更深。而对于企业尤其是互联网巨头来说，则是既兴奋无比又无可奈何地进一步陷入大语言模型和大规模算力的军备竞赛当中，毕竟谁也不敢对一场大概率会比 30 年前互联网革命影响更加深远的技术变革掉以轻心。譬如谷歌在 2022 年发布用来对标 ChatGPT 的对话产品 Bard，其核心的“路径语言模型”（PathwaysLanguage Model，PaLM）的参数数量达到离谱的 5400 亿，即便谷歌动用了专用的发电站和专门为其调整的大型 GPU/TPU（Tensor Processing Units）集群，训练一次也需要耗费数月时间和数千万美元的费用，而背后那群全球顶尖科学家的人力资源成本更是不可估量。
340
第三部分 第三波高潮
○一 传言 OpenAI 本没有打算在此时发布 ChatGPT，但听到 Anthropic（一家由几位参与了GPT-2、GPT-3 开发的研究人员离职后创立的人工智能公司，这家公司的 Claude 机器人也相当有名）要发布一款聊天机器人后，就把内部用的相对完善的 ChatGPT 包装后率先发布出去，结果率先发布的 ChatGPT 一炮而红。