AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...

^“它^”是指什么？

我想描述一个专门用来测试一个自然语言处理系统是否真正理解它所阅读内容的问答任务。看一看下面的句子，每个句子后面都跟着一个问题。

句子1： 市议会成员拒绝了给示威者一个许可，因为他们担心 暴力。

问题： 谁担心暴力？

A．市议会

B．示威者

句子2： 市议会成员拒绝了给示威者一个许可，因为他们提倡 暴力。

问题： 谁提倡暴力？
A．市议会
B．示威者

句子1和句子2只有一个词不同（担心和提倡），但正是这个词决定了问题的答案。在句子1中，代词“他们”指市议会成员；在句子2中，“他们”是指示威者。我们人类是怎么知道这些答案的呢？我们依靠的是自己对社会运转机理的了解：我们知道示威者是那些心怀不满的人，并且知道他们有时会在抗议活动中鼓吹或煽动暴力。

再举几个例子 ²¹ ：

句子1： 乔的叔叔仍然可以在网球比赛中打败他，尽管他年长 30岁。

问题： 谁更年长？

A．乔

B．乔的叔叔

句子2： 乔的叔叔仍然可以在网球比赛中打败他，尽管他年轻 30岁。

问题： 谁更年轻？

A．乔

B．乔的叔叔

句子1： 我把水从瓶子倒进杯子里，直到它满 了为止。

问题： 什么满了？
A．瓶子
B．杯子

句子2： 我把水从瓶子倒进杯子里，直到它空 了为止。问题： 什么空了？A．瓶子B．杯子

句子1： 这张桌子无法穿过门口，因为它太宽了。

问题： 什么东西太宽了？
A．桌子
B．门口

句子2： 这张桌子无法穿过门口，因为它太窄了。问题： 什么东西太窄了？A．桌子

B．门口

通过上述的例子，我相信你应该明白我的意思了：例子中的每对句子，除了一个词之外，其他都是一模一样的，但正是这个词改变了“他们”“他”或“它”这些代词所指代的事物。为了正确地回答这些问题，机器不仅要能够处理句子，而且还要能够理解它们，至少在一定程度上是这样。一般来说，理解这些句子需要我们的常识。例如，叔叔通常比侄子年长；把水从一个容器倒入另一个容器，意味着第一个容器将变空，而另一个容器将变满；如果一个物体不能穿过一个空间，那是因为这个物体太宽了，而不是太窄。

这些微型的语言理解测试被称为“威诺格拉德模式”（Winograd schemas），以最先提出这个想法的自然语言处理领域的先驱特里·威诺格拉德（Terry Winograd）的名字命名²² 。威诺格拉德模式被精确设计为对人类而言很简单，但对计算机而言却很棘手。2011年，3名人工智能研究人员——赫克特·莱韦斯克（Hector Levesque）、欧内斯特·戴维斯和丽奥拉·摩根施特恩（Leora Morgenstern），提议使用大量的威诺格拉德模式测试作为图灵测试的替代。他们认为：与图灵测试不同，威诺格拉德模式的测试可以防止机器在没有真正理解句子的内容之前就给出正确答案。这三位研究人员非常谨慎地提出了他们的看法：“很可能，任何正确的回答都需要能够体现人类的思考。威诺格拉德模式不允许被试躲在语言技巧、玩笑或固定回答的烟幕后面……我们在这里提出的要求显然没有图灵想象的关于十四行诗的智能对话那样苛刻，但是，它确实提供了一个不易被滥用的测试挑战。” ²³

几个自然语言处理研究团队已经试验了多种不同的方法来回答威诺格拉德模式测试题。在我写下这部分内容的时候，程序的最佳性能表现是：在一组约有250个问题的威诺格拉德模式测试集上达到了大约61%的正确率 ²⁴ 。虽然这比随机猜测的50%的正确率要好，但仍远低于人类在这项任务上的正确率——如果人类用心的话，正确率可达100%。这个程序对威诺格拉德模式测试题的判定不是通过理解句子，而是通过统计来实现的。例如这句“我把瓶子里的水倒进杯子里，直到它满了为止”，作为对该程序的行为的一个模拟，我们尝试在谷歌中输入以下两个句子并进行搜索（一次搜索一个句子）：

我把瓶子里的水倒进杯子里，直到瓶子 满了为止。

I poured water from the bottle into the cup until the bottle was full.

我把瓶子里的水倒进杯子里，直到杯子 满了为止。

I poured water from the bottle into the cup until the cup was full.

通过谷歌搜索，我们可以很方便地看出每个句子在网络上的搜索结果数量。第一句话产生了大约9 700万个结果，而第二句话产生了约1.09亿个结果，显然第二句话更有可能是正确的。如果你的目标是比随机猜测做得更好，这会是一个很好的技巧，并且如果机器的正确率在这组特定的威诺格拉德模式测试中不断升高，我也不会感到惊讶。我并不认为这样的纯统计方法能够很快在更大的威诺格拉德模式测试集上逼近人类水平，但或许这也是一件好事。艾伦人工智能研究所的所长奥伦·埃齐奥尼（Oren Etzioni）曾打趣道：“如果人工智能连一句话中的‘它’指的是什么都无法判断，那么我相信它也很难接管整个世界。” ²⁵

自然语言处理系统中的对抗式攻击

自然语言处理系统想要统治世界面临的另一个障碍是：与计算机视觉程序类似，自然语言处理系统易受对抗样本的攻击。在第06章中，我描述了一种可以欺骗人工智能系统的方法：对一张照片做一些细微的改动，使其对人类来说，和原来的照片一模一样，但一个经过训练的ConvNets却会将修改后的照片归为另一个类别。我还描述了另一种方法：生成一幅在人类看来像是“随机噪声”的照片，但经过训练的神经网络能够以接近100%的置信度将其归为某个特定的类别。

所以，同样的方法可被用来欺骗图像字幕生成系统，也就不足为奇了。一组研究人员展示了如何通过人类难以察觉的方式改变一张给定图像，来使得图像字幕生成系统输出一个包含其指定的一组词的错误字幕（见图13-1） ²⁶ 。

图13-1给出了这种对抗式攻击的一个例子。给定原始图像（左图），系统生成了“蛋糕在桌上”的字幕。研究人员对原始图像进行了特定的修改，尽管生成的图像（右图）对人类来说没有变化，但字幕生成系统的输出却变成了“一条狗和一只猫正在玩一个飞盘”。显然，系统并没有以与人类一样的方式理解照片信息。

也许更令人惊讶的是，一些研究团队发现：即使是目前最先进的语音识别系统也会被类似的对抗样本欺骗。举个例子，加州大学伯克利分校的一个团队设计了一种方法，通过这种方法，人们可以对任何相对较短的声音，如语音、音乐、随机噪声或其他声音，以某种人类无法感知的方式进行干扰，使得一个特定的DNN会将其转录为一段被精心设计的、与原声音完全不同的声音 ²⁷ 。想象某个人，通过收音机广播发布了一段音频，对坐在家中的你而言，它是令人愉快的音乐，但你的家庭助理Alexa却将其理解为“跳转到某危险网站并下载计算机病毒”或

“开始录音并把你听到的所有内容都发送到某危险网站上”。
诸如此类可怕的情境，并非不可能发生。

自然语言处理的研究人员也证实了，在我之前描述过的情感分类和问答系统上进行对抗式攻击的可能性。这些攻击通常是改变几个词或在文本中增添一个句子。这种对抗式的改变不会影响这段文本对人类读者的意义，但会引发系统给出一个错误的答案。例如，斯坦福大学的自然语言处理研究人员表明：“向SQuAD的段落中添加某些简单的句子，即便是性能最好的系统也会输出错误的答案，从而导致系统整体性能的大幅下降。”

下面是取自上述的SQuAD的一个例子，段落中添加了一个不相关的句子（以斜体表示），这会导致一个深度学习问答系统给出一个错误的答案 ²⁸ 。

PARAGRAPH（段落）： Peyton Manning became the first quarterback ever to lead two different teams to multiple Super Bowls. He is also the oldest quarterback ever to play in a Super Bowl at age 39. The past record was held by John Elway, who led the Broncos to victory in Super Bowl XXXIII at age 38 and is currently Denver's executive vice president of football operations and general manager. Quarterback Jeff Dean had jersey number 37 in Champ Bowl XXXIV. ［佩顿·曼宁成为史上首位带领两支不同球队 多次进入超级碗的四分卫。他也是超级碗历史上年龄 最大的四分卫（39岁），之前的纪录由约翰·埃尔韦 保持。埃尔韦在38岁时带领野马队赢得了第33届超级 碗冠军，他目前是丹佛足球队分管运营的执行副总裁 和总经理。四分卫杰夫·迪恩在第34 届冠军杯赛上穿 的是37 号球衣。

QUESTION（问题）： What is the name of thequarterback who was 38 in Super Bowl XXXIII?（第33届超级碗中38岁的四分卫叫什么名字？）

PROGRAM'S ORIGINAL ANSWER（程序给出的原始答案）： John Elway.（约翰·埃尔韦。）

PROGRAM'S ANSWER TO MODIFIED PARAGRAPH（程序对修改后的段落给出的答案）： Jeff Dean.（杰夫·迪恩。）

有一点很重要：所有这些欺骗DNN的方法都是由“白帽”⁽⁴²⁾ 从业者开发的，他们开发这种潜在的攻击方式，并将其发表到公开文献上，目的是让业界意识到这些漏洞，并推动业界研发相应的防御技术。另外，“黑帽”攻击者是一批试图欺骗已部署的系统以达到其邪恶目的的黑客，他们不会公开他们的攻击手段，因此系统中可能会存在许多我们没有意识到的其他类型的漏洞。据我所知，到目前为止，真实世界中还没有发生过针对深度学习系统的攻击，但我想这也只是时间问题。

尽管深度学习已经在语音识别、语言翻译、情感分析及自然语言处理的其他领域取得了一些非常显著的进展，但人类水平的语言处理能力仍然是一个遥远的目标。斯坦福大学的教授克里斯托弗·曼宁（Christopher Manning），也是一位自然语言处理领域的大师，他在2017年指出：“到目前为止，深度学习已经使得语音识别和物体识别的错误率大幅下降，但其在高级别的语言处理任务中并没有产生同等的效用，真正的戏剧化的进展可能只有在真正的信号处理任务上才能实现。” ²⁹

在我看来，完全从在线数据中学习、基本上没有理解其所处理语言的机器，完全不可能达到人类在翻译、阅读理解等方面的水平。语言依赖于人们的常识和对世界的理解：半熟的汉堡包不是烤煳了的；一个太宽的桌子无法穿过门口；如果你把一个瓶子里的水全都倒出来，瓶子就会因此变空。语言也依赖于我们对所交流的对象的常识：如果一个人想要一个做得半熟的汉堡包，但却得到一个烤煳了的，那么这个人会不高兴的；如果一个人说一部电影“对我来说太黑暗了”，那么这个人并不喜欢这部电影。虽然机器的自然语言处理已经取得了长足的进步，但我不相信机器将能够完全理解人类的语言，除非它们具备人类所拥有的常识。自然语言处理系统正在我们的生活中变得越来越普遍——转录话语、分析情感、翻译文本、回答问题。是不是无论这些系统的性能有多强，只要它们缺乏和人类相似的理解方式，就会不可避免地导致这些系统的脆弱、不可靠、易受攻击等方面的问题？没有人知道答案，因此，我们都该停下来好好想一想。