我的朋友小明借了我五块钱。
小明与我的关系是 。（答案：朋友）
人类之所以能轻易地得出后面这个问题的答案，是因为阅读了前面的话，并且记住了前面这句话的结论。而神经网络如果要正确推理，同样必须考虑词语上下文的记忆和出现顺序这些因素。
1982 年，物理学家约翰·霍普菲尔德（John Hopfield，1933—）提出了一种可用作联想存储器的互联网络，这个网络现在被称为“ Hopfield 神经网络”模型。Hopfield 神经网络是今天循环神经网络的雏形，它从输出到输入都有反馈连接，所以属于循环网络，可是 Hopfield 神经网络因为实现困难，外加没有找到合适应用，并没有特别大的发展，逐渐被前馈网络取代。
1990 年，加利福尼亚大学圣迭戈分校的心理学教授杰弗里·埃尔曼（Jeffrey Elman，1948—）发表了一篇名为《寻找时间表示的数据结构》（“FindingStructure in Time”）的论文，文中提出了循环神经网络最初的概念框架。虽然以前也有过专门的时间序列分析模型，譬如“隐马尔可夫模型”（HiddenMarkov Model，HMM），但将神经网络与时间序列结合起来，循环神经网络依然有它不可忽视的价值，但这个价值在很长的时间里都未能得到体现，与Hopfield 神经网络一样，循环神经网络暂时还没有找到可以施展的舞台。
直到 2003 年，本吉奥在他的论文《一种神经概率语言模型》（“ A NeuralProbabilistic Language Model ”） 中 把 循 环 神 经 网 络 用 于 实 现 N 元 语 法 模 型（N-Gram，这是自然语言处理领域著名的模型），收到了非常好的效果，循环神经网络才开始被这个领域的学者关注。自然语言处理是最适合循环神经网络的舞台，发展到今天，循环神经网络已经成为这个领域的主要工具之一。
循环神经网络之所以会被称作“循环”（Recurrent），是因为它对输入序列中的每个样本都执行相同的操作，循环神经网络的输出结果是基于以前的输出进行计算的，同时也会参与到下一轮循环作为计算输入。读者可以把循环神经网络理解成给神经网络中间的隐层增加了一个“反馈环”，这便相当于增加了一个拥有存储功能的辅助学习器，它对到目前为止所计算过的序列有一定的记忆能力。这个“反馈环”是循环神经网络的核心内容，被称作“循环连接”
第 7 章 深度学习时代
295