为何循环神经网络会如此不受欢迎呢？这是因为循环神经网络的原生设计就是依靠循环把前一次的输出作为下一次的输入来体现序列中的顺序关系，它天生就只能串行训练，在顺序的特性约束下它无法成批次地并行计算。因此，尽管在自然语言处理任务中序列到序列模型比传统统计学习的效果要好得多，只需要无标注的单一语言语料即可完成训练，也不会过分依赖专家知识，解除了模型训练中数据样本的限制和专家人力的限制，但是算力的限制仍没有解除，串行训练无法有效地利用现代计算机多核并行系统的优势，且训练时间的局限约束了语言模型的规模上限，直接影响了应用的最终效果。
为了解决这个问题，Transformer 架构引入了“位置编码”（Positional Encoding）的概念。位置编码是一种添加到输入序列词嵌入过程中的位置信息，将元素在序列中出现的不同位置视为词语语义之外的一项扩展信息。这些编码随着元素在序列中位置的变化而变化，使得不同位置具有唯一的表示。位置编码与输入的词向量叠加后，模型就能在理解语义的同时，感知序列中元素的相对位置，这样，所有输入序列中的元素都可以被同时处理。
Transformer 架构的设计革新终于突破了经典序列到序列模型的并行度限制，只要拥有足够的算力，就有可能在短时间内处理大批量的语料，通过投入大量语料和算力资源便可以训练出参数规模极大的语言模型。
从此刻起，“大语言模型”（Large Language Model，LLM）出现所需的最后一项前置技术宣告完备，自然语言处理马上就要引领一场人工智能历史上最壮阔的高潮了。也是从此刻起，原来调侃人工智能“有多少人工就有多少智能”的话语变成了“有多少算力就有多少智能”。规模定律（Scaling Law）成为赢得人工智能竞争的一项核心因素，所有巨头都将被卷入一场史无前例的“算力军备竞赛”当中。
8.6 OpenAI 与 GPT 模型
2015 年底，苏茨克维宣布离开谷歌人工智能团队开始创业。说“创业”或许未必准确，因为他要创立的不是一家以盈利为目的的企业（至少创立之初的目的不是盈利）。深度学习出现后，人工智能在多个领域展现了巨大的潜力，同时也引起社会精英对人工智能在伦理和安全方面可能出现的威胁的担忧。大家意识到需要建立一家致力于人工智能公共开发和担负安全责任的技术机构，以确保人工智能的潜力能被高效利用，且是用来造福全人类而不是带来风险的。
332
第三部分 第三波高潮