笔者认为在“规模定律”（Scaling Law）的驱使下，模型参数规模和算力规模上的竞争仍然会持续一段时间，但是参数规模与算力规模不会是决定模型性能的唯一因素，甚至不会成为最本质的根因。现在有一种越来越主流的观点认为，在模型结构确定的情况下，学习率、训练批次大小、序列长度、优化算法、正则化系数、Dropout 率等超参数（Hyperparameter）对最终性能的影响更大。大模型的时间和资源成本限制了它往往只能被训练一次，而一锤子买卖导致无法用反复试错和比较的方法获得最优的超参数集，这样的训练既要靠经验也要靠运气，能训练出什么结果只有训练完才能揭晓，体验真的跟“炼丹”差不了多少。
也许是受到类似的观点影响，2023 年发布的 GPT-4 模型的规模终于止住了前几代 GPT 模型以每年十倍、百倍膨胀的势头，尽管 GPT-2 之后版本的代码、模型和具体技术细节没有再公开过，但 OpenAI 关键成员的公开演讲透露了 GPT-4 的规模仅略大于 GPT-3<sup>○一</sup>，不过表现出来的能力仍然有明显飞跃，这要归功于 GPT-Turbo 对降低成本、提升资源利用效率的工程贡献。
GPT-4 的项目目标也发生了较大的变化，一改前几代专注于文本生成领域，开始从单纯的文本走向多模态（Multimodal），每种模态代表一种不同类型的数据，譬如文本、图像、视频、声音、手势，等等。因此，GPT-4 不仅能接收用户的文字内容，还能接收用户上传的语音与图片，听懂音频中的语气和语调，理解图片中的表情和物体间关系；它不仅能用文本回答用户的问题，还能根据用户的要求，绘制图片、生成语音、作曲、绘画等。
第 8 章 从学习到创造
341
○一 在 GPT-4 发布之前，网传 GPT-4 的参数数量将膨胀 1000 倍，从 1750 亿膨胀到 100 万亿。为了使这个对当前硬件和训练规模缺乏基本常识的谣言看起来可信，造谣者还伪造了一张 OpenAI 的推特消息截图。后来 OpenAI 多次辟谣，明确说 GPT-4 的规模仅比GPT-3.5 略大。