智慧的疆界 从图灵机到人工智能

如表 9-1 所示，在 2017 年 Transformer 架构被发明之前，即便表现最优秀的谷歌公司的人工智能产品，即便采用专门为人工智能产品适配过的智力测试模型，其测得的智力水平相较 6 岁的儿童也还是有相当大的差距，与一个正常成年人的智力相比更是天壤之别。如果以人类的智力水平来度量，当时世界上全部的人工智能产品都可以说是“人工智障”。

2023 年 1 月，ChatGPT 发布两个多月以后，芬兰奥卢大学附属医院的认知心理学家恩卡·罗瓦伊宁（Eka Roivainen）对 ChatGPT 进行了一次智力测试，并将结论发表到《科学美国人》杂志上^○一。这次测试没有再为了降低机器通过测试的难度而专门去调整测试模型，而是直接使用广泛应用于人类智商测试的第 3 版韦氏成人智力量表（The Wechsler Adult Intelligence Scale III，WAISIII）来进行度量。测试前，罗瓦伊宁已经对 ChatGPT 的表现有了非常高的预期，即便如此，测试结果依然出乎他的预料之外。ChatGPT 给出的答案极其详细和全面，甚至超过了测试手册中给出的标准答案。最终 ChatGPT 测得的语言智商^○二为 155，高于 WAIS 标准化样本中 99.9% 的样本^○三，从任何人类标准来看

第 9 章 与机器共生

355

○一 https://www.scientificamerican.com/article/i-gave-chatgpt-an-iq-test-heres-what-idiscovered/。

○二 由于 ChatGPT 缺乏必要的眼睛、耳朵和手等器官，所以它无法参加 WAIS 的非语言测试子集的测试。

○三 在 WAIS 标准化样本中，受过大学教育的美国人的平均语言智商为 113，前 5% 样本的智商为 132。

ChatGPT 都极其聪明。短短 6 年时间，人工智能产品的智力水平就从不如 6 岁儿童，发展成比 99.9% 人类都更加聪明，毫无疑问，我们正在见证一场已经跨过技术奇点、不断向前飞奔的智能革命。

当然，“智商”是不能直接等同于“智慧”的，斯坦福大学心理学家迈克尔·科辛斯基（Michal Kosinski）教授在他的论文《大语言模型可能自发出现的心智理论》（“ Theory of Mind May Have Spontaneously Emerged in LargeLanguage Models”）^○一中也明确提到，尽管不能排除大语言模型有自动产生“心智能力”（Theory of Mind，通常指理解他人内心状态的能力，包括推断他人意图、理解他人情绪等）的可能性，但是 ChatGPT 最多与八九岁儿童所具备的心智能力相当。换句话说，即便 ChatGPT 已经具有了超越成年人的智商，但当前仍然不具备成年人的心智。我们（暂时）还能给出如下结论：当前的人工智能系统已经是非常聪明和强大的工具，但它还是在工具的范畴，依然不是人们科幻想象中的那种人造智能体。

9.3 与机器竞技

本节会从“对图像、声音等信息的识别与理解”“根据输入信息做出处理和决策”“艺术与创作力”“工程和运动技能”“对抗性竞技游戏”这几个方面寻找当今人工智能中最高水平的案例，作为人与机器的竞技场，去度量人工智能产品与人类从事该项工作的优劣。

9.3.1 信息识别

人工智能系统对信息的识别能力是指机器对图像、视频、声音等天然的外界信息输入能否正确接收与准确解析。能够正确地识别自然界的信息，是任何一种智能体认知世界的前提。

早前我们多次提到的“ImageNet 大规模视觉识别挑战赛”（ImageNet Large

356

第四部分 人机共生

○一 https://arxiv.org/abs/2302.02083v5。

Scale Visual Recognition Challenge，ILSVRC）就是一项机器视觉识别能力的比赛，它是全世界所有先进计算机视觉技术的竞技场。2015 年，来自微软研究院的残差网络（ResNet）达到了 3.57% 的分类错误率，这个成绩首次超过了人类平均水平（5.1%）。2016 年和 2017 年，计算机视觉在图像分类上的错误率分别降至 2.9% 和 2.3%，进一步超过人类平均水平。到了 2017 年，几乎所有进入决赛的模型的识别水平都超过了人类平均水平。

对于人工智能的从业者来说，这是一个令人振奋的消息，不过为了避免像部分新闻媒体那样，仅凭这么一句话就宣告机器在图像识别领域打败人类，落入以偏概全、断章取义的陷阱，我们有必要弄清楚“图像分类”是一个怎样的比赛、过程是怎样的、有哪些细节等问题之后再下结论。

自首届举办以来，每年的 ILSVRC 挑战赛项目都会包括以下三大主题（即使偶尔在各项上有一些细微的调整，三大主题也基本是不变的）：

● 图像分类（Image Classification）：算法判别出图像中存在的最主要物体对象，由于一张图片可能存在多个物体，允许算法输出最多五个物体对象的名称，只要其中包括正确答案就视为正确。

● 单物体定位（Single-object Localization）：在图像分类的基础上，进一步产生轴对齐的边框，框出指定物体的位置和比例。

● 物体检测（Object Detection）：在单物体定位的基础上，进一步支持对图片中的多个物体进行分类和边框定位。

图 9-1 所示的是这三个比赛项目的一个测试用例，这是一名铁匠在打造铁桶的画面，图像分类要求必须根据图片输出“ Steel drum”（铁桶）这个词，最多输出五个物体的名称，只要包含“ Steel drum”就视为正确的答案。而单物体定位要求必须在图像的铁桶中加上边框指出它的位置和比例，物体检测要求必须将图片上的所有主要物体都识别出来。

ILSVRC 挑战赛要求参赛的算法必须依靠 ImageNet 本身的数据库训练模型来完成识别。截至 2017 年，ImageNet 的数据库中已含有超过 1500 万张由人类手工标注和分类好的图片，这些图片由超过 2.2 万个不同类型的生物和物体构成。例如在图片数据库中搜索“英国猎狐犬”（English Foxhound），搜索结果如图 9-2 所示。正是得益于这样庞大的带标注信息的图片数据库，计算机才能够从中“学会”分辨出各种各样不同的物体对象。

第 9 章 与机器共生

357

新闻报道比赛结果时说计算机的图像识别能力超过人类，分别达到了3.57%、2.9% 和 2.3% 的分类错误率，实际是指计算机在“图像分类”这个单项测试中，输出的五个答案均不包含物体的“ TOP 5 错误率”达到了 3.57%、2.9% 和 2.3%。这当然已经是很了不起的结果，但凭此就断定计算机视觉比人类视觉更强大了，依然有些武断。一方面人类的顶尖水平与人类的平均水平差距巨大（不妨想想你与奥运冠军比赛马拉松的情形），超过“人类平均水平”与超过“人类”在逻辑上不能等同；另一方面，在分层认知中，识别出图像中的物体只是认知过程中较初级的环节。分辨物体某个像素的颜色、线条的长度、形状的大小时，人类不如计算机准确；往上，分辨由线条形状构成的物体类型时，人类与计算机差不多处于同一水平；再往上，对物体功能属性、语境关系、人文历史等的认知，人类现在依然占据优势。

358

第四部分 人机共生

○一 图片来源：https://ocr.space/blog/2014/10/amazing-progress-of-computer-vision.html。

在另外两个项目“单物体定位”和“物体检测”中，计算机暂时还是无法与人类相媲美，人类可以轻松地完成复杂环境下多目标精确边界的图像分割，而计算机估计还需要数年乃至更长的时间才能追赶上人类的水平。

图 9-3 是一个使用“ Mask R-CNN”算法^○一对图片进行精确边缘分割的例子，这是当前人工智能产品最高水平的精确边界分割，已经接近人类水平，但计算机现在还只能在部分有条件约束的图片上达到这样的效果。微软、Meta 和Mighty AI 联合发布了一个名为“ COCO”的图像数据库，它与 ImageNet 数据库很相似，但其主要目标是面向物体的分割和检测，用于补全计算机这方面的相对弱项。

第 9 章 与机器共生

359

○一 Mask R-CNN 算法是何恺明（Kaiming He）在 2017 年提出的，通过在 Faster R-CNN 的基础上添加一个分支网络，在实现目标检测的同时把目标像素分割出来。

语音识别领域的情况与图像分类接近， Hub5′00 Switchboard 数据集^○一是一个以电话语音为素材的英文听写测试。2017 年，人工智能开始做到在该数据集上的听写错误率低于人类的平均水平，大约是 5.9%。2020 年以后，实验室中的语音识别技术纷纷落地，现代语音识别系统（如 Google Assistant、AmazonAlexa）在特定的环境和任务下表现得非常出色，识别精度在很多情况下超过了人类。譬如在噪声较小的环境中，这些系统能够以极高的准确率将语音转化为文本；又譬如在识别特定的声音事件（如枪声、玻璃破碎声）或特定的动物声音的任务中，机器可以比人类更快速且准确地检测和分类声音。不过，一旦涉及上下文的引申、隐喻、讽刺、情感、语气等高阶的复杂语言现象，机器的表现仍然不及人类。与图像分类识别类似，人类在对高层次的语言现象识别方面仍有较大优势。

可以说语音识别成为继图像分类之后，人工智能另一个在单项细分项目上超越人类的自然信息识别技能。无论是图像分类还是语音识别，笔者始终强调计算机对人类是“单个细分项目”上的超越，尽管计算机在这些细分项目上已经取得了很了不起的成就，但仍然只是认知自然界信息的一个小子集，即使计算机在这方面的某些单项分数上超过人类平均水平，要由此得出计算机在信息识别的精度上已经超过人类，仍有偷换概念的嫌疑。相较于人类，计算机最大的优势是“识别效率”与“进化时间”两方面。一方面，虽然机器还不能理解很多信息背后的深刻含义，但它能够在短时间内识别完人类个体穷其一生都看不完的图片、视频和书籍，这是人类无法比拟的效率优势。另一方面，人类是凭借着数以亿万年生物进化所积累的认知能力与机器比赛。从几十年、百年甚至千年的维度来看，可以认为人类群体的生物学平均智力水平是不会变化的，现代人类并不比万年前的尼安德特人更加聪明，但机器的能力却在以越来越快的速度向前飞奔，进化速度是机器独有的另一大优势，时间必然站在机器一边。

360

第四部分 人机共生

○一 https://paperswithcode.com/sota/speech-recognition-on-hub500-switchboard。

9.3.2 信息理解

即便承认计算机现在拥有了接近人类水平的声音、图像“识别”能力，但“理解”能力，如解决图片中不同对象的常识关联这类问题，毫无疑问依然是人类的优势项目。人类对图像的感知远不止“图片上的物体是什么”，而是对图片上各种对象、行为、逻辑关系等的综合认知，这里面有大量信息并不是蕴含在图像中的，而是源于日常生活中建立的常识概念。譬如图 9-4 所示的两张图片，人类看到后可以很轻易地建立“棒球手在准备挥动球棒”和“巴士在一栋很高的建筑物旁边”这样的认知，这里棒球手有挥棒击球的能力，建筑物相对于汽车算高而相对于高山算矮，都不是在图片中能获得的信息。在多模态大模型成熟以前，机器要给这样的图片生成文字描述，就必须有大量与图片对应的常识库支持，再配合上下文相关的学习技巧才能够实现，非常依赖人力资源。

2017 年 7 月，计算机视觉领域的顶级会议“计算机视觉与模式识别大会”（Computer Vision and Pattern Recognition，CVPR）以“超越 ILSVRC”（BeyondILSVRC）为主题举行研讨会，公布了 2017 年 ILSVRC 的比赛结果。同时，李飞飞宣布由于计算机在图像分类识别上已达到了预期的目标，ILSVRC 的历史使命已经完成，继续举办不会带来更多实质性的新贡献，计算机视觉乃至整个人工智能发展史上的里程碑—历时七年的 ImageNet 大规模视觉识别挑战赛将在 2017 年正式结束。这个完结宣言同时也是新征程的起点，此后，计算机图像识别更专注于目前尚未解决的、偏重于图像理解方面的问题。接替ILSVRC 的候选之一是苏黎世理工大学和谷歌等联合提出的 WebVision 大赛，该比赛的目标也从图像分类逐步过渡到图像理解上。

第 9 章 与机器共生

361

接下来的几年时间，得益于大语言模型的突破性进展，计算机找到了一个很有效的可以相对准确地理解大段文字背后的实体和关系的途径，广大学者顺理成章地尝试借助“文字”这种已经被充分压缩的人类知识、常识载体来理解图片，这就是今天图像理解中常见的“视觉语言对齐”（Visual LanguageAlignment），即将图片分类中得到的实体与特定语言的词汇建立映射关系，这样自然语言处理词嵌入等管理语义的技巧就可以迁移应用到图片中了。譬如OpenAI 提出的“语言 - 图 像 对 比 预 训 练”（Contrastive Language–Image Pre-training，CLIP）就是一种多模态模型的视觉语言对齐技术，通过对比正负样本将相关的视觉和语言特征对齐，从而实现多模态信息的映射和关联，使得机器能够理解图像或视频的内容，并生成与之对应的文本描述，或者通过文本指令来生成、操控或查询视觉内容。

不过，即使当前最先进的大语言模型，对文字背后实体关系的深层次理解也仅是做到“相对准确”，这一点可以通过严谨的测试数据来说明。2016 年，斯坦福大学的华人学者、助理教授珀西（Percy Liang）建立了“斯坦福问答数据集”（Stanford Question Answering Dataset，SQuAD），这是一个供计算机学习英文阅读理解的训练和测试数据集。测试方法是给定一篇文章，并准备好相应问题，需要算法给出问题的答案。此数据集的数据量超过此前其他同类数据集（例如 WikiQA 和 TrecQA）几十倍之多，其中所有的文章均选自维基百科，一共挑选了 536 篇文章，然后将这些文章切割成 23215 个自然段落，再利用众包的方式，将这两万多个段落分给不同人类，要求每个人对自己负责的每个段落都提出 3～10 个问题，并标注出答案，这样产生了与这些文章相配套的107785 个问题及答案。为了更好地区分人类与机器，在 SQuAD 2.0 中作者还故意添加了超过 5 万个与正常问题非常相似但根据文章信息无法回答的问题，刻意引入了额外的复杂度。

362

第四部分 人机共生

○一 图片来源：https://www.oreilly.com/learning/caption-this-with-tensorflow。

图 9-5 是 SQuAD 1.0 数据集的一个公开的测试用例，这个用例给出了一小段描述降水类型和成因的片段，然后要求受测者回答配套的几个问题：第一个问题是“什么造成了降雨”，答案是“重力”造成的，这需要从第一句话中推理出来；而第二个问题则需要正确理解文章中“包括”和问句中“其他形式……除了……”的含义，才能依据“include”的各个子项通过排除法得到答案。由此可见，SQuAD 中问题的答案仍然是文章中直接出现过的词语。

对于答案，SQuAD 的评测标准有两个，分别是“ F1 分数”和“精确匹配度”（Exact Match）。F1 分数的含义是精确率和召回率的调和平均值，这个概念我们在第 6 章曾经讲过，它代表了模糊匹配度，即要求尽量正确的回答而不要求一字不差的精确回答。顾名思义，精确匹配度要求机器给出的回答和人标注的完全一样才算正确。

第 9 章 与机器共生

363

SQuAD 在 2016 年发布之后，很快便成长为行业内公认的机器阅读理解领域的权威赛事，吸引了包括谷歌、卡内基梅隆大学、斯坦福大学、微软亚洲研究院、艾伦研究院、IBM、Meta 等知名企业的研究机构和高校的深度参与，当然也包括后来的 ChatGPT。测试结果^○一可能出乎不少读者的预料，ChatGPT（使用 GPT-3.5-Turbo 作为基础模型）并不是阅读理解成绩最好的人工智能产品，它不仅比不上人类，连与 LUKE、XLNet 和 SpanBERT 等模型相比也有较大的差距。

导致成绩不佳的原因很快就被定位，即 SQuAD 2.0 添加了 5 万个无法回答的问题，而 ChatGPT 依然对这些问题胡编乱造地虚构出了答案，这种模型自顾自地“胡说八道”的现象在 NLP 任务中被称为“幻觉”（Hallucination）。典型的幻觉有：

● 事实性错误：模型可能会编造或错误地陈述事实。譬如，模型可能会错误地给出一个不存在的日期、事件或人物信息。

● 虚构的引用或参考：模型可能会生成不存在的书籍、文章、作者或研究结果，甚至提供虚假的参考文献或数据来源。

● 错误的推理：模型可能会进行不合逻辑或错误的推理，导致结果不准确。

● 技术性误导：譬如在技术或科学话题上，模型可能会生成不符合科学原理或技术规范的解释或描述。

尽管幻觉内容看起来合乎逻辑或具有说服力，但其实“一本正经地胡说八道”反而更加危险，尤其在涉及高度专业化、法律、医疗等敏感领域时，可能由于模型的错误回答而导致严重事故。如果读者也经常使用 ChatGPT 处理信息的话，相信肯定已经注意到在输入框下面标注了一句专门的提示：“ChatGPT

364

第四部分 人机共生

○一 结果引自论文“ Evaluating ChatGPT as a Question Answering System ”， 地 址 为 https://arxiv.org/pdf/2312.07592。