图 9-5 是 SQuAD 1.0 数据集的一个公开的测试用例，这个用例给出了一小段描述降水类型和成因的片段，然后要求受测者回答配套的几个问题：第一个问题是“什么造成了降雨”，答案是“重力”造成的，这需要从第一句话中推理出来；而第二个问题则需要正确理解文章中“包括”和问句中“其他形式……除了……”的含义，才能依据“include”的各个子项通过排除法得到答案。由此可见，SQuAD 中问题的答案仍然是文章中直接出现过的词语。
对于答案，SQuAD 的评测标准有两个，分别是“ F1 分数”和“精确匹配度”（Exact Match）。F1 分数的含义是精确率和召回率的调和平均值，这个概念我们在第 6 章曾经讲过，它代表了模糊匹配度，即要求尽量正确的回答而不要求一字不差的精确回答。顾名思义，精确匹配度要求机器给出的回答和人标注的完全一样才算正确。
第 9 章 与机器共生
363