苏茨克维最开始的研究是用神经网络处理不同类型的序列数据（如字符、单词、句子、声音等都是典型的序列数据）之间的转换。自然语言处理的应用几乎都是围绕着序列展开的，譬如：从一种语言的序列转换成另外一种语言的序列，这是机器翻译的场景；从一种含义的序列内容转换成有内容顺承关系的序列，这是自然语言对话的场景；等等。
以机器翻译为例，2012年以前的主流方法是统计机器翻译（Statistical MachineTranslation，SMT），希望能从大量相互对照的语料数据中学习，得到一个从源语言映射到目标语言的统计概率模型。进行翻译时，只要找到概率最大的目标语言映射结果便认为是对源语言的最佳翻译结果了。这种思想模仿了人类对语言学的研究方法论，譬如人类语言学家通过研究罗塞塔石碑（Rosetta Stone，见图 8-8）上三种不同语言铭刻的古埃及法老托勒密五世诏书，利用映射关系成功解读出已经失传千余年的埃及象形文字，成为研究古埃及历史的重要里程碑。
但是统计机器翻译依靠映射概率的方法存在十分明显的局限性，且不说两种或两种以上语言描述同一内容可以相互映射的语料十分难得，只占所有语料数据很少的一部分，仅说建立两种语言之间相同含义的序列映射就很困难，这样的映射有可能是一对一、一对多、多对一或者多对多的，有一些词汇甚至找不到映射关系。譬如笔者曾数次提到了“江湖”这个词，读者不妨想想它应该如何翻译为英文。类似的困难还有许多，这些困难大多并非无法解决，但问题是解决方案往往只能针对特定的源和目标语言来处理，不可避免地涉及大量的特征工程以及语言学专家知识，需要庞大的人力才能维护，这就导致了在很长时间内，只有几种主流语言之间的机器翻译能够给出差强人意的结果，其他小语种的机器翻译结果几乎无法被实际使用。
326
第三部分 第三波高潮