引用上一节的生成式对抗网络作为对比，我们可以评价统计机器翻译是一种“深度依赖人工参与、深受人类能力限制的模型”。针对统计机器翻译的缺陷，2014 年，苏茨克维在发表的论文“ Sequence to Sequence Learning withNeural Networks ” 中 提 出 了“神 经 机 器 翻 译”（Neural Machine Translation，NMT）的概念。神经机器翻译的基本结构由一套名为“序列到序列”（Sequenceto Sequence，一般简写为 Seq2Seq）的两层循环神经网络构成，这两层循环神经网络分别称为“编码器”（Encoder）和“解码器”（Decoder），如图 8-9 所示。
在编码器一侧的任务是对输入序列的上下文语义进行向量化，这个任务的通俗解释就是把含义相近的语言序列转换为向量空间（本书 6.5.2 节中有关于向量表示与向量空间的介绍）中距离相近的向量，含义差距较大的序列对应的向量距离较远。进行“词向量化”（Word Vector）的过程被称为“词嵌入”（Word Embedding），该技术一揽子地解决了不同语言、语法中诸多充满不确定性的歧义问题。以中文为例，单独来看“胜”和“败”的向量距离很远，但“中国队大胜美国队”和“中国队大败美国队”的向量距离却很近；“ How areyou ？”和“吃了没？”，虽然直译的结果看起来完全不相干，但它们的向量距离在大多数上下文中都是十分接近的。早在 2000 年，本吉奥在论文“ NeuralProbabilistic Language Models ”中就提到了使用词嵌入技术产生词向量来表示语义远近关系的思想。在神经机器翻译提出的前一年（2013 年），苏茨克维当时的同事、谷歌研究员托马斯·米科洛夫（Tomas Mikolov，1982—）发表了两篇论文<sup>○一</sup>，又提出了“ Word2Vec”技术，使得词向量的训练过程的效率和效果显著提升，让词向量这项技术变得更加实用化。
第 8 章 从学习到创造
327