接下来的几年时间，得益于大语言模型的突破性进展，计算机找到了一个很有效的可以相对准确地理解大段文字背后的实体和关系的途径，广大学者顺理成章地尝试借助“文字”这种已经被充分压缩的人类知识、常识载体来理解图片，这就是今天图像理解中常见的“视觉语言对齐”（Visual LanguageAlignment），即将图片分类中得到的实体与特定语言的词汇建立映射关系，这样自然语言处理词嵌入等管理语义的技巧就可以迁移应用到图片中了。譬如OpenAI 提出的“语言 - 图 像 对 比 预 训 练”（Contrastive Language–Image Pre-training，CLIP）就是一种多模态模型的视觉语言对齐技术，通过对比正负样本将相关的视觉和语言特征对齐，从而实现多模态信息的映射和关联，使得机器能够理解图像或视频的内容，并生成与之对应的文本描述，或者通过文本指令来生成、操控或查询视觉内容。
不过，即使当前最先进的大语言模型，对文字背后实体关系的深层次理解也仅是做到“相对准确”，这一点可以通过严谨的测试数据来说明。2016 年，斯坦福大学的华人学者、助理教授珀西（Percy Liang）建立了“斯坦福问答数据集”（Stanford Question Answering Dataset，SQuAD），这是一个供计算机学习英文阅读理解的训练和测试数据集。测试方法是给定一篇文章，并准备好相应问题，需要算法给出问题的答案。此数据集的数据量超过此前其他同类数据集（例如 WikiQA 和 TrecQA）几十倍之多，其中所有的文章均选自维基百科，一共挑选了 536 篇文章，然后将这些文章切割成 23215 个自然段落，再利用众包的方式，将这两万多个段落分给不同人类，要求每个人对自己负责的每个段落都提出 3～10 个问题，并标注出答案，这样产生了与这些文章相配套的107785 个问题及答案。为了更好地区分人类与机器，在 SQuAD 2.0 中作者还故意添加了超过 5 万个与正常问题非常相似但根据文章信息无法回答的问题，刻意引入了额外的复杂度。
362
第四部分 人机共生
○一 图片来源：https://www.oreilly.com/learning/caption-this-with-tensorflow。