SQuAD 在 2016 年发布之后，很快便成长为行业内公认的机器阅读理解领域的权威赛事，吸引了包括谷歌、卡内基梅隆大学、斯坦福大学、微软亚洲研究院、艾伦研究院、IBM、Meta 等知名企业的研究机构和高校的深度参与，当然也包括后来的 ChatGPT。测试结果<sup>○一</sup>可能出乎不少读者的预料，ChatGPT（使用 GPT-3.5-Turbo 作为基础模型）并不是阅读理解成绩最好的人工智能产品，它不仅比不上人类，连与 LUKE、XLNet 和 SpanBERT 等模型相比也有较大的差距。
导致成绩不佳的原因很快就被定位，即 SQuAD 2.0 添加了 5 万个无法回答的问题，而 ChatGPT 依然对这些问题胡编乱造地虚构出了答案，这种模型自顾自地“胡说八道”的现象在 NLP 任务中被称为“幻觉”（Hallucination）。典型的幻觉有：
● 事实性错误：模型可能会编造或错误地陈述事实。譬如，模型可能会错误地给出一个不存在的日期、事件或人物信息。
● 虚构的引用或参考：模型可能会生成不存在的书籍、文章、作者或研究结果，甚至提供虚假的参考文献或数据来源。
● 错误的推理：模型可能会进行不合逻辑或错误的推理，导致结果不准确。
● 技术性误导：譬如在技术或科学话题上，模型可能会生成不符合科学原理或技术规范的解释或描述。
尽管幻觉内容看起来合乎逻辑或具有说服力，但其实“一本正经地胡说八道”反而更加危险，尤其在涉及高度专业化、法律、医疗等敏感领域时，可能由于模型的错误回答而导致严重事故。如果读者也经常使用 ChatGPT 处理信息的话，相信肯定已经注意到在输入框下面标注了一句专门的提示：“ChatGPT
364
第四部分 人机共生
○一 结果引自论文“ Evaluating ChatGPT as a Question Answering System ”， 地 址 为 https://arxiv.org/pdf/2312.07592。