在解码器一侧的任务是对输出序列中下一个词的最大概率进行预测，这个任务同时接收两个输入，一个是编码器给出的上下文向量（Context Vector），另一个是上一轮解码器刚刚输出的结果（否则就谈不上是“下一个”词了）。刚刚开始时，首个输入词固定为起始标志“ <Start>”。笔者举个例子来说明解码器是如何工作的：假设当前进行的是机器翻译任务，上一阶段编码器已经对输入序列“好好学习”产生了上下文向量，这个上下文向量在论文中被称为“隐藏状态”（Hidden Status，HS）。当解码器接到隐藏状态 HS1 和第一个词“ <Start>”后，产生的输出是“ good”，每轮产生输出词的同时也会修正隐藏状态的内容，如将隐藏状态 HS1 修正成 HS2。接下来，把上一轮输出的词“ good”和 HS2 作为输入，本轮产生的输出同样是“ good”并修改隐藏状态为 HS3，然后第三轮根据第二个“ good”产生了“ study”，最后产生结束标记“ <End>”，由此就生成了完整的翻译结果“ <Start>”“ good”
328
第三部分 第三波高潮
○一 “ Eficient Estimation of Word Representations in Vector Space ” 和“ Distributed Representationsof Words and Phrases and their Compositionality ”，苏茨克维本人参与了相关工作，是论文的第二作者。