（Recurrent Link），就像图 7-26 中显示的一样，循环连接把隐层神经元的输入和输出连接起来，使得隐层输出端也作为输入的一部分，重新进入神经网络中。如果展开（Unfold）循环神经网络，可以将其视为一批所有层共享相同权值的深度前馈神经网络。
初期版本的循环神经网络只能进行有限次数的循环和记忆，超过这些范围的内容就必须被丢弃或者衰减得几乎消失，这被称为“短期记忆”（Short-TermMemory）效应。它其实是一种限制，因为没有很好地解决深度神经网络的梯度不稳定（消失或者爆炸）问题，由于循环连接的存在，经过循环处理的部分和直接增加网络隐层深度在形式上是差不多的，因此梯度不稳定问题曾经是循环神经网络面临的最苦恼的挑战，使得循环神经网络不得不设计成在有限轮次后就必须打断循环，以避免梯度不稳定，这便是短期记忆效应的由来。虽然具有短期记忆效应的循环神经网络也能解决一些简单的问题，但还是具有比较大的局限性。比如，面对以下场景时短期记忆网络就不能很好地处理。
- 小明是小刚的朋友。
- 小明家境优越。
- 小刚生活拮据。
- 小明乖巧懂事，学习成绩优异，是班里的尖子生。
- 小刚活泼好动，对一切事物充满好奇，却无法安静地坐下来写作业，成绩较差。
- 小明借了小刚五块钱，小明是
正确答案：小刚的朋友（来源于第 1 句）
错误答案：乖巧懂事的尖子生（来源于第 4 句）
296
第三部分 第三波高潮