PDF 物理页索引 1030
文件中的第 1031 页 · 印刷页码:未识别
有些研究者为了让结果看起来漂亮些,往往“报喜不报忧”。没有一定规模的开放测试,没有足够多的重复试验,不足以评价模型效果。目前,学术界和工业界都在呼唤有严格规范的测试平台,把测试当作一件严肃认真的事情交给第三方,或者直接公开测试代码允许他人了解和重复试验,而不是任浮夸之风盛行。
例4.14 俗话说,“文无第一,武无第二”。像机器翻译、自动文摘属于“文”,很难有个形式化的标准评出优劣,人来评价有时也会意见不合。而物体识别、棋盘游戏属于“武”,很容易就能制定出评估的标准,毕竟对错、输赢是非黑即白的事情。
有些评测需要在动态环境里进行,如自动驾驶(也称作“无人驾驶”)模型。对路况的模拟越接近真实,越有希望给出客观的评价,并有助于对事故进行根因分析。例如:
路上跑的“僵尸车”是模拟环境的一部分,如果它们非常不智能,譬如只会在同一条车道匀速行驶,那么训练出来的自动驾驶模型(不妨将之称为“智能车”)可能不适应真实世界。
PDF 物理页索引 1031
文件中的第 1032 页 · 印刷页码:未识别
口 假设路上跑的都是相互没有通信的智能车,即它们都是独立地做(换线、加减速、停车等)决策,会出现怎样的现象?譬如,交叉换线时会不会出现同时减速谦让或加速抢道?如果需要协同决策,车与车之间应该共享哪些信息?如何基于这些信息做出安全可行的决策?
如果路况信息可以共享,但缺乏统一的交通优化机制,会不会出现这样的“怪圈”:在得知某处堵车之后,所有原计划路经此处的车都重新独立规划路径,从而导致在他处造成堵车或滞速?
测试的目的除了评估之外,寻找错误的根因或者和错误强相关的条件也是非常重要的。通过测试,错误的类型及其分布情况可以呈现出来,还有它们伴随的条件。例如,自动驾驶所出事故中的物体识别错误,常把远处的白色物体与云朵混淆,或者,对后侧方车辆的意图识别有误导致换线时发生碰撞,等等。一旦了解了错误的类型,以及错误扩散的路径(即因果链),下一步就可以进行针对性的加强训练,并且想方设法阻断错误的扩散。
PDF 物理页索引 1032
文件中的第 1033 页 · 印刷页码:未识别
PDF 物理页索引 1033
文件中的第 1034 页 · 印刷页码:未识别
图4.39 在开源自动驾驶环境模拟器CARLA里训练和测试自动驾驶模型
测试还有一个目的就是搞清楚模型能力的边界。数据科学里没有所谓的正确的模型,只有好用的模型。和每个人一样,一个模型有它擅长的,也有它不擅长的。模型在什么条件下做的决策是可靠的,什么条件下是不可靠的,什么条件下是半可靠的?通过测试可以让机器有“自知之明”,知道扬长避短,而不是不分可靠度地执行任何决策。
4.1.2 理解机器智能
机器犯错的因果链可能不止一条,每阻断一条都可以减少错误的扩散。为了找出错误的扩散路径,必须搞清楚导致错误的因果关系,即可解释性(explainability),也称可溯因性。如果我们不了解造成模型失效的条件,在使用这些机器学习产品的时候,对潜在的风险就一无所知,也无法在可能犯错之前给用户一些警示。尤其那些关乎人类生命的AI产品,可解释性显得尤为重要。
人类通过视觉、听觉、触觉等感知外部世界。类似地,如例1.41所描述,智能车的各种传感器可以形成有约束和互补关系的协同感知,进而提高识别错误的能力。错误样本可以被自动挑选出来,供后续分析之用。
可解读性
PDF 物理页索引 1034
文件中的第 1035 页 · 印刷页码:未识别
IGHT THE C CANDLE
OF UNDERSTANDING
EPILEPSY FOUNDATION OF AMERICA
PDF 物理页索引 1035
文件中的第 1036 页 · 印刷页码:未识别
图4.40 让我们点亮理解的烛光吧
人们经常把可解释性同可解读性(interpretability)混淆。可解读性是指机器学习中特征表示的语义能够被人类理解。例如,一个“主题”(topic)就是词集上的一个离散概率分布,或者所有词的加权平均。当主题模型(topic model)挖掘出自然语言文档中潜在的主题,它们对于人类来说的含义是什么?很遗憾,在多数情况下,对机器而言“有意义”的主题,对于人类来说是不可解读的。
一方面,我们承认智能的形态存在差异,人类和机器的认知模式可以不同。另一方面,我们期望不同的智能之间能够交流。机器能理解人类的意愿,但如果人类无法了解机器的所想所指,不利于引导人工智能走上健康的发展之路。
人类常在不同的文化或艺术形式之间相互解读。例如,文森特·梵高(Vincent van Gogh, 1853—1890)的《星夜》,经过美国歌手唐·麦克林(Don McLean,1945— )创作的民谣歌曲《文森特》的解读,让人印象深刻、感触颇多。歌曲的灵感来自1970年的某个秋日,麦克林正在读梵高的传记,出于对梵高的崇拜,他在《星夜》前写下了感人肺腑的歌词,表达了对梵高的理解。
繁星点点的夜晚
画板上涂抹了蓝与灰
夏日里,你向外张望
PDF 物理页索引 1036
文件中的第 1037 页 · 印刷页码:未识别
双眸看穿我灵魂的黑暗
山峦间的阴影
勾勒树林与水仙花
捕捉拂面的微风和冬日的凛冽
色彩幻化在雪白亚麻画布上
如今我终于明白
你想对我倾诉什么
众醉独醒,你那么痛苦
你多想解开羁绊
可他们不愿听,也不懂
或许,他们现在想听到……
PDF 物理页索引 1037
文件中的第 1038 页 · 印刷页码:未识别
POST-IMPRESIIONISM
PDF 物理页索引 1038
文件中的第 1039 页 · 印刷页码:未识别
图4.41 《星夜》的忧郁用歌曲表达出来,仿佛听到了梵高的心声
相反地,音乐也可以用绘画来解读,例如,格陵兰歌曲的艺术解读。人们用不同的语言解读世界,但总能找到共鸣,哪怕跨越了距离多远的文化、穿越了时光多久的历史。
PDF 物理页索引 1039
文件中的第 1040 页 · 印刷页码:未识别