要得到正确答案，就必须具备长期记忆的能力。为了增加这种“长期记忆能力”，人们研究出了各种循环神经网络的变体，其中最重要的是“长短期记忆网络”（Long Short-Term Memory，LSTM），用于解决长期及远距离的记忆依赖关系。
长短期记忆网络通过引入“门结构”和一个明确定义的“记忆单元”来尝试克服梯度消失或者梯度爆炸的问题。它允许向单元状态中移除或添加信息，通过门结构对信息进行管理，把远期记忆的内容也保留下来。后来，进一步发展出了“门控循环单元”等其他长短期记忆网络的变体形式。
今天，循环神经网络已经广泛应用于语音分析、文字分析、时间序列分析。如果主要解决的问题就是数据之间存在前后依赖关系、序列关系，一般首选长短期记忆网络；如果预测对象同时取决于过去和未来，可以选择双向结构，如双向长短期记忆网络。
不过，循环神经网络也有自身未能解决的重要缺陷，一方面是它天生顺序处理的特性，致使它无法进行有效的并行计算，必须按照序列的顺序来串行处理，这一点决定了循环神经网络在处理长序列时计算效率较为低下。另一方面是对长期记忆的处理，一旦依赖距离过长，循环神经网络就很容易面临梯度消失或梯度爆炸的问题。这使得尽管循环神经网络初步具备了处理长期记忆的能力，但在处理长距离依赖关系时仍然相对困难。这两个缺陷阻碍了循环神经网络成为处理大规模语言资料的最终解决方案，直到 2015 年注意力机制和Transformer 结构出现并成功解决了循环神经网络这两大问题以后，人工智能才真正迎来了自然语言应用上的大爆发。
7.7 从实验室到企业
深度学习之所以能够在 2012 年爆发式地迅速崛起，ILSVRC 2012 比赛是机遇，辛顿率先提出了可行的理论和方法，这算是内因；还有两个很重要的外因，分别是大数据的兴起，还有以“图形处理器”（Graphics Processing Unit，GPU）为代表的面向大规模并行计算设计的硬件有了长足发展，而这两点外因，企业都比学校和实验室有优势得多，与很多成功的技术一样，深度学习也
第 7 章 深度学习时代
297