法航447号航班在飞行的前几个小时就是这样的。然后，在漆黑的夜空中，当飞机接近大西洋上空遭遇雷暴时，飞机速度传感器因结冰停止运转了。电脑意识到这个问题，并且解除了自己的部分控制以便让飞行员接管。飞行员现在可以按照自己的意愿驾驶飞机了，而不需要电脑再次做出预测。我们不清楚出于什么原因，副驾驶决定让机头朝上，向上飞行，尽管当时飞机已经接近飞行高度上限。此举使飞机的飞行速度降低到临界点，飞机面临失速坠落的危险。
电脑发出了警报，有一个声音向飞行员报告“失速”，但飞行员没有做出反应。由于飞机继续不断地向上飞行，失速警报停止了，因为计算机不再相信它接收到的关于飞机处在极端位置的数据，而是认为数据出现了问题(其实不是)。当飞行员试图弄明白状况时，飞行员进入了一个致命的反馈回路：每当飞行员将机头压低时，电脑就会认为关于飞机在上升的数据似乎是可信的，因此发出了失速的警报；当飞行员将机头抬起时，失速警告就停止了这并不是因为飞机没有失速，而是因为失速得太严重了，电脑对数据失去了信任。从某种程度上说，无论人类还是电脑，他们都表现得相当合理。当机器认为数据可信时，它就发出警报，于是人类会对失速警告做出反应。他们绝对没有意识到这架飞机正朝大海坠落。片刻之后，机上所有人员全部遇难。
反馈循环存在两种危险
直到最后，飞行员都在试图弄清楚到底发生了什么事情。在大多数情况下，人机系统的反馈循环都是完美的，即使不完美，它也会容易弥补。但是，基于复杂反馈循环的系统是难以捉摸的：它们在如此多的一般情况下表现得如此出色，以致人们容易忽视，甚至忘记，还有出现极端错误的风险。
第8章 反馈效应
157