AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...

尽管有以上这些以及其他类似的错误，沃森最终还是赢得了比赛并获得了100万美元的慈善基金；然而，沃森的胜利在很大程度上得益于它按抢答器的速度。

随着沃森的获胜，人工智能研究群体开始质疑：沃森究竟是人工智能领域的真正进步，还是像一些人所说的那样仅仅是宣传作秀或“客厅戏法” ⁽⁴¹⁾ ？ ⁹ 尽管大多数人都认可沃森在《危险边缘》中的表现，但这一问题仍然存在：沃森是在真正意义上完成了回答用口语提出的复杂问题这项困难的任务吗？还是说，对于一台内置了维基百科访问入口以及大量的数据存储库的计算机来说，以特定的语言格式和事实驱动的答案来响应《危险边缘》中的线索这一任务，实际上并没有那么难？更不用说，这台计算机已经在数十万条与它在节目中面对的非常相似的《危险边缘》线索上进行过训练。即使是一个不经常看《危险边缘》节目的人，也能发现这些线索经常呈现出相似的套路，因此，对于一个程序而言，有这么多的训练样本可供训练，那么学习检测某个特定线索是遵循什么逻辑的也许就没有那么困难了。

在沃森首次亮相《危险边缘》节目之前，IBM就宣布了他们关于该程序的雄心勃勃的计划：把沃森训练成医生助手，并向沃森输入大量的医学文献资料，从而使其能够回答医生或患者的问题，以及提出诊断或治疗方案。IBM声称：“沃森将能够比人类更加高效地找到临床问题的最佳答案。” ¹⁰ IBM还为沃森提出了一些其他潜在的应用领域，包括法律、财务、客户服务、天气预报、时装设计、税务协助等，应有尽有。为实现这一目标，IBM成立了一个独立的部门，称为“IBM沃森团队”（IBM Watson Group），它拥有数千名员工。

从2014年开始，IBM的营销部门围绕沃森打造了一系列的宣传活动。鲍勃·迪伦（Bob Dylan）和塞雷娜·威廉姆斯（Serena Williams）等名人与沃森聊天的商业广告遍布互联网、纸媒和电视等各种宣传渠道。IBM的广告宣称，沃森正将我们带入一个“认知计算”（cognitive computing）的时代，这是一个从未被精确定义的术语，但却似乎是IBM在人工智能领域的招牌能力。显然，IBM对沃森使用了一项突破性技术，使它能够做一些完全不同于并且优于其他人工智能系统的事情。

大众媒体也对沃森进行了铺天盖地的报道。在2016年的一期电视新闻节目《60分钟》（60 Minutes ）中，报道记者查理·罗斯（Charlie Rose）的一番话呼应了IBM的一些高管的发言，他对观众说：“沃森是一名狂热的阅读者，每秒能吸收相当于100万本书的信息。5年前，沃森才刚刚学会如何阅读和回答问题。现在，它就要从医学院毕业了。”当时，北卡罗来纳大学的癌症研究人员奈德·夏普利斯（Ned Sharpless，后任美国癌症研究所所长）接受了《60分钟》的采访。罗斯问他：“在IBM提出沃森可能会在医疗康护领域做出贡献之前，你对人工智能和沃森了解多少？”夏普利斯回答说：“实际上，并不多。我只是了解了沃森在《危险边缘》中的表现。他们用大约一周的时间教沃森阅读了基本的医学文献，这并不是太难，然后沃森又用了大约一周的时间阅读了2 500万篇论文。” ¹¹

什么？沃森是一个“狂热的阅读者”吗？听起来有点像你那早熟的五年级同学可以在周末读完一本《哈利·波特》，但就沃森来说并不是这么简单，而是每秒阅读100万本书，或者在一周内阅读2 500万篇科技论文。对于“阅读”这个词，其内涵究竟是理解其所读的内容，还是像沃森那样简单地处理文本并将其添加到数据库中？说沃森“从医学院毕业”，听起来挺震撼，但它对于我们认识沃森的能力到底是什么有帮助吗？沃森的顶级营销策略、缺乏透明度和同行审议的研究使外人很难回答这些问题。一篇备受关注的有关沃森肿瘤解决方案（Watsonfor Oncology，一个旨在帮助肿瘤科医生的人工智能系统）的评论文章称：“没有一个独立的第三方研究来检验沃森肿瘤解决方案是否可以交付使用，这是他们故意的。IBM并没有将这个方案提供给外部科学家进行评议性审查，也没有进行临床试验来评估其效能。” ¹²

IBM对沃森的一些描述也引发了另一个问题：在IBM专门为玩《危险边缘》游戏而开发的技术中，有多少可被实际应用到其他的问答任务上？换句话说，夏普利斯所说的会玩《危险边缘》的沃森和可以阅读医学文献的沃森，是同一个沃森吗？

后《危险边缘》时代沃森的故事都可以写一本书了，并且需要一个专门的调查作家来揭开谜底。下面是我从读过的许多文章中以及我与熟悉这项技术的人的讨论中收集到的一些信息。事实证明，玩《危险边缘》所需要的技能与医学和法律领域中的那些问答所需要的技能并不相同。现实世界中的问题不像《危险边缘》节目中的线索那样具有简短的结构，其答案也不像节目中的那样明确。此外，对于现实世界中的问题，并不存在大量完善的、清晰标记的训练样本，且这些样本代表的每种情况都对应一个唯一正确的答案。

除了拥有同样的名字、同样的带有环绕灯光的星球标志以及熟悉悦耳的机械化声音之外，IBM的营销部门在当前推出的沃森与2011年在《危险边缘》节目中击败詹宁斯和拉特的沃森，几乎没有什么共同之处。此外，如今“沃森”这个名字不再单指一套聚合的人工智能系统，而是指IBM以沃森这个品牌为其客户提供的一系列服务的总和，其中主要是商业服务。简而言之，沃森本质上是指IBM在人工智能领域所做的一切，《危险边缘》节目冠军的宝贵光环则像一件装饰品。

IBM是一家拥有数千名优秀人工智能研究人员的大型公司。其沃森品牌提供了当下最先进的人工智能工具，能够适用于各种各样的任务处理工作，包括自然语言处理、计算机视觉和通用数据挖掘等（尽管仍需要大量的人为干预）。许多公司已经订阅了这些服务，并发现这些服务能够有效地满足他们的需求。然而，与媒体上和大量广告中所描绘的相反，没有一个沃森的人工智能项目“上过医学院”或“阅读”过医学论文。确切地说，是IBM与其他公司的员工一起精心准备了能被输入到各种程序中的数据，其中许多程序都依赖于我在前几章中描述过的深度学习算法，而最初的沃森根本没有使用这些算法。总而言之，IBM的沃森提供的服务与谷歌、微软、亚马逊和其他大公司的各种各样的人工智能云服务十分类似。老实说，我不知道原始沃森系统使用的方法对现代问答程序的贡献有多大，以及擅长玩《危险边缘》的人工智能程序与IBM沃森品牌的人工智能工具有多大关系。

尽管IBM沃森团队的产品可能非常先进和有用，但由于各种原因，其处境似乎比其他科技公司更为艰难，该公司与客户签订的一些备受关注的合同已经被取消了，例如与休斯敦的安德森癌症中心的合作项目合同。大量有关沃森的负面文章被发布出来，其中很多引用的是心怀不满的前雇员的言论，主要是指出IBM的一些高管和营销人员过分夸大了这项技术的应用前景。当然，在人工智能领域，承诺过高和交付不足是一个再常见不过的现象，IBM绝不是唯一的罪过方。只有在未来我们才能知道，在把人工智能应用于医疗康护、法律以及其他自动问答系统能够产生巨大影响的领域时，IBM到底贡献了什么。目前来说，除了在《危险边缘》节目中的获胜，沃森可能是“最臭名昭著的炒作奖”的一个有力竞争者，不知道这算不算是人工智能的一项成就。

如何判定一台计算机是否会做阅读理解

在上文的讨论中，我对沃森能够“阅读”表示怀疑，这里的阅读是指能够真正理解其处理的文本的意义。我们如何判定一台计算机是否理解了它所阅读的内容？我们能给计算机做一个阅读理解的测试吗？

2016年，斯坦福大学的自然语言研究团队设计了一个测试，并且很快就成了衡量机器阅读理解能力的标准，这就是斯坦 福 问 答 数 据 集 （ Stanford question answer dataset ，SQuAD）。它由维基百科文章中的段落组成，每个段落都附有一个问题。这其中的数十万个问题都是由亚马逊土耳其机器人创建的 ¹³ 。

SQuAD测试比人类读者做的那种典型的阅读理解测试要简单得多，因为在创建问题的说明中，斯坦福大学的研究人员规定答案必须以句子或短语的形式在文本中出现过。下面是SQuAD测试的一个简单的例子：

PARAGRAPH（段落）： Peyton Manning became the first quarterback ever to lead two different teams to multiple Super Bowls. He is also the oldest quarterback ever to play in a Super Bowl at age 39. The past record was held by John Elway, who led the Broncos to victory in Super Bowl XXXIII at age 38 and is currently Denver's executive vice president of football operations and general manager.［佩顿·曼宁成为 史上首位带领两支不同球队多次进入超级碗的四分 卫。他也是超级碗历史上年龄最大的四分卫（39 岁），之前的纪录由约翰·埃尔韦保持。埃尔韦在38 岁时带领野马队赢得了第33届超级碗冠军，他目前是 丹佛足球队分管运营的执行副总裁和总经理。］

QUESTION（问题）： What is the name of thequarterback who was 38 in Super Bowl XXXIII?（第33届超级碗中38岁的四分卫叫什么名字？）

CORRECT ANSWER （ 正 确 答 案 ） ： John Elway.（约翰·埃尔韦。）

想要做对这道题，其实你并不需要读懂字里行间的意思，也不需要真正的推理，比起“阅读理解”，可能这项任务更准确的叫法应该是“答案提取”。答案提取对机器来说是一项很有用的技能，事实上，答案提取也正是Alexa、Siri以及其他数字助理软件所需要做的：将接收到的问题转换为一个搜索引擎查询序列，然后从搜索结果中提取答案。

斯坦福大学的研究团队还就这些问题对亚马逊土耳其机器人进行了测试，以便将机器的性能与人类进行比较。测试者会给每个被试一段话，且后面会跟着一个问题，要求被试在段落中选择能够回答这个问题的最短内容 ¹⁴ 。正确的答案由最初提出这个问题的亚马逊土耳其机器人给出。使用这种评估方法，测得人类在SQuAD测试上的正确率为87%。

SQuAD迅速成为最受欢迎的测试问答算法能力的标准测试集，全世界的自然语言处理研究人员都在努力优化自己的算法，争取在SQuAD测试集的排行榜上获得更靠前的排名。其中，最成功的方法使用了专门的DNN，也就是一种比我之前描述的编码器-解码器网络更复杂的版本。在这些系统中，输入是文本形式的段落和问题；输出则是网络对于该问题答案的预测，这种预测通过标注答案语句的起始与终止位置给出。

在接下来的两年里，随着SQuAD测试竞赛的白热化，参赛程序的准确性不断提高。2018年，两个分别来自微软研究实验室和中国阿里巴巴公司的团队，创建了能够在这项任务上超越斯坦福大学测出的人类准确性的程序。微软发布的新闻公告宣称：“微软创建了能够像人一样阅读文档并回答与文档有关问题的人工智能。” ¹⁵ 阿里巴巴的自然语言处理首席科学家说：“我们荣幸至极地见证了机器在阅读理解上超越了人类这一里程碑。” ¹⁶

这种事我们也不是第一次听说了。人工智能研究有一个惯用的套路：定义一个在细分领域中比较有用的任务，收集一个大型数据集来测试机器在该任务上的性能，对人类在该数据集上完成任务的能力进行一个有限的度量，然后，建立一场竞赛使得人工智能系统可以在该数据集上互相竞争，直到最终达到或超过人类的表现。相关各方不仅会对真正令人印象深刻且有用的成就进行报道，还会虚假地声称，获胜的人工智能系统在一项更为通用的任务上，达到了媲美人类的能力。如果你不记得这个套路了，请翻看我在第05章中对ImageNet竞赛的描述。

一些大众媒体在描述SQuAD测试的结果时表现出了令人钦佩的克制。例如，《华盛顿邮报》（Washington Post ）对此给出了谨慎的评价：“人工智能专家表示，这种测试太过局限，根本无法与真正的阅读相提并论，因为其答案不是通过对文本的理解产生的，而是由系统在文本中利用查找模式并进行术语匹配找到的。这项测试只能在格式清晰的维基百科文章上行得通，而在书籍、新闻文章和广告牌等宽泛语料上却不可行，而且测试集中的每一篇文章都一定包括答案，使模型不必对概念进行处理或用其他概念来进行推理。人工智能专家说，阅读理解的真正要义在于阅读字里行间中相互关联的概念并进行推理，进而理解文本中有所暗示但又未具体给出的信息。” ¹⁷ 我非常赞同这一观点。

“提问-回答”这个课题一直是自然语言处理研究的一个重点。在我写这部分内容的时候，人工智能研究人员已经收集了多个新的数据集，并已经规划了新的竞赛，这些数据集可为竞争程序提供更严峻的挑战。艾伦人工智能研究所（AllenInstitute for Artificial Intelligence）是一家由微软的联合创始人保罗·艾伦（Paul Allen）资助的位于西雅图的私人研究机构。它开发了一套面向小学生和中学生的多项选择科学题库。若想正确回答这些问题，不仅需要答案提取的技能，还需要具备自然语言处理和常识推理的集成能力，以及一些必要的背景知识 ¹⁸ 。下面举个例子：

使用垒球棒击打垒球是哪种简单机械的使用示例？A．滑轮B．杠杆C．斜面D．轮轴

这道题的正确答案是：B。艾伦人工智能研究所的研究人员对那个在SQuAD测试上表现得超越人类的神经网络进行了改造，并对它在这组新问题上的表现进行测试。他们发现：即便这些网络在这8 000个科学问题的一个子集上进行了进一步训练，其在新问题上的表现也不会比随机猜测好多少 ¹⁹ 。在写这部分内容时，一个在该数据集上运行的人工智能系统的最高正确率大概是45%，而随机猜测的正确率是25% ²⁰ 。艾伦人工智能研究所的研究人员将他们关于此数据集的论文命名为：“你认为你已经解决了‘提问-回答’这个课题吗？”如果有副标题的话，我想可能会是：“那你再想想。”