“good”“ study”“ <End>”。训练不同的解码器，便能够满足不同的应用需要，假设当前的应用场景是自然语言对话，那各轮次产生的输出序列可能依次是“<Start>”“天”“天”“向”“上”“<End>”。
序列到序列模型的强大之处有两点，其一在于它彻底跳出了传统统计方法“从一种语言映射到另一种语言”的藩篱，可以使用单一语言的语料来训练出该语言的编码器和解码器，而不需要刻意地寻找两种语言相互对照的数据来训练出专门针对这两种语言的翻译任务的模型。其二是它完全摆脱了序列受映射关系对齐约束而导致的长度受限问题，序列到序列模型的输入和输出长度没有强制的关联关系，完全取决于编码器和解码器（主要是解码器）是如何设计的，因此输出序列长度可以做到与输入序列差异极大，即使用户只输入了一个十分简短的问题，解码器也可以生成洋洋洒洒上千字的回答。以上两个特点为使用序列到序列模型解决自然语言处理领域的众多经典问题带来了全新的可能性，无论是机器翻译、对话还是摘要等任务，均可胜任。
序列到序列模型的发明完全可视为语言爆发的奇点，自此以后，机器对人类语言的理解和处理能力，再延伸到机器对语言背后的知识汲取速度，都一改此前几十年平缓演进的曲线，以普通人难以想象的速度快速提升。
8.5.2 注意力机制与 Transformer 架构
序列到序列模型的发明，就像生成式对抗网络给图像处理领域带来的震动一样，在自然语言里开辟了一条崭新大道，吸引了几乎该领域所有的研究者竞相参与。尽管如此，对序列到序列模型最重要的两项改进依然还是由谷歌人工智能团队做出的，这两项改进奠定了后续的主流大语言模型研究路线的共同基础。
第一项改进现在被称作“注意力机制”（Attention Mechanism），是由谷歌研究员德米特里·巴赫达瑙（Dzmitry Bahdanau）在 2014 年提出的。苏茨克维的序列到序列模型最初采用传统的长短期记忆网络（就是施密德胡伯的 LSTM）来处理序列中的长距离信息依赖，尽管长短期记忆网络本来就是为了这个目的而设计的，但它毕竟仍是一种循环神经网络，随着序列长度的增加，长短期记忆网络依然面临梯度消失或梯度爆炸的问题，这使它在捕捉长距离信息依赖时变得愈发困难，尤其是要处理的序列长度达到整个文档甚至成套的书籍时，传统的长短期记忆网络几乎就变得完全无法使用了。
第 8 章 从学习到创造
329