人工智能伦理

图4.47 通俗地讲，模型的可解释性就是“有根有据”

自动驾驶系统的安全性是最重要的，任何决策都容不得半点含糊。如果物体识别把一辆白色卡车误判为一朵云，当云变得愈来愈大时便不合逻辑，只需一个简单的判断就能化险为夷。在一个时段里的物体识别必须是自洽的，不能一会儿是卡车、一会儿是广告牌，即按照自身的逻辑可以证明无矛盾性——可以有识别错误，但绝不允许有逻辑错误。就像数学的公理体系，可以有悖直觉，但逻辑上必须是无矛盾的。有逻辑错误的识别、决策都是不可靠的。

BANGLADSHTITMY

图4.48 有错必改的前提是搞清楚错在哪里。若找不到根因，便是错得不明不白

为什么出错？人类经常这样反省自己，同样也希望机器有这样的好习惯。找出根因则不枉费错误的代价，避免以后不再犯同样的错误。可解释的人工智能并不禁用“黑箱”（blackbox），只是要求搞清楚失效的原因或条件。对于有监督的机器学习，模型的可解释性受到多个因素的影响，例如描述能力、训练数据、总体分布等。

图4.49 博克斯

很遗憾，我们对“可解释性”仍缺乏量化的衡量标准。很多时 候 ， 人 们 从 可 靠 性 （ reliability ） 或 者 稳 健 性（robustness）的角度考察可解释性（见例2.23）。一般来说，如果模型抗干扰的能力弱，其可解释性就令人堪忧，因为我们无法在随机扰动中找出模型失效的原因。

英国统计学家乔治·博克斯（George Box, 1919—2013）曾说，“设计简单而令人回味的模型的能力是伟大科学家的签名，过度细致和过度参数化常常是平庸的标志”。从可解释性的角度很容易理解博克斯的这句话，不知他看到深度学习动辄成千上万的参数会作何感想。不过，我们最好以宽容的态度看待深度学习，只要使得模型是可解释的，就算不上“过度细致和过度参数化”。

尽管随机模拟和可靠性分析为测试“可解释性”提供了一些经验的方法，我们仍需把根因分析引入机器学习之中，否则无法对“可解释性”做理性的考察。黑箱仅是对行为的模拟，只有可解释的模型才可能产生新知识。好比猴子学样和小朋友“过家家”（孩子模仿成年人日常家庭活动的一种游戏）都是模拟，但性质是不一样的，后者对做饭、照顾孩子等行为的语义是了解的，而前者是不知道这些动作的含义的。猴子学样是黑箱模拟，“过家家”是可解释的模拟。

图4.50 “过家家”和“猴子学样”正是对人类学习和当前机器学习的形象描述

再如，在模拟环境里设置各种场景，对自动驾驶模块进行测试，有助于增强决策系统的可解释性。因为安全性是自动驾驶的首要条件，所以对于那些引起致命后果的因素，必须事发之后可以溯源。举例说明：

口 在不同的光照和天气条件之下，不同的感知模块的效果是不同的，它们的可信度如何？怎样得到更可靠的感知融合？譬如，雨天的路面、前车的颜色对感知的影响。

口 从自我保护的角度看，其他车辆对某智能车造成碰撞最有可能的情形有哪些？其形成的条件是什么？譬如，后车追尾智能车，在什么距离、相对速度、加速度等条件下，当前的决策系统是难以避险的？

从保护他人的角度看，智能车对行人或其他车辆构成威胁的条件有哪些？

我们不希望一个局部的错误传播至最终决策，而是力图把它扼杀在知识约束和综合分析之中。要做到这一点，我们不得不事先把可能引发错误的条件搞清楚，形成一个具备良好可解释性的知识网络，借此阻断误判的影响。即使还有漏洞，它们在这个知识网络中依然可以被定位，进而不断地改进知识网络和决策能力。

例4.15 图4.51展示了开源的计算机代数系统(ComputerAlgebra System,CAS)Maxima在符号计算上的能力。所有结果既

是可解读的，也是可解释的。

File Edit ViewCell Maxim Equations Algebra Calculus Simplify List Plot Numeric Help QC业Maths

$$
\sum \limits _ { k = 0 } ^ { n } ( 1 - \sum \limits _ { k = 0 } ^ { n } \left( 2 k + \frac { 1 } { 2 } \geq \frac { 1 } { n } \right) = 0
$$

$$
\frac { ( n + m ) ! ^ { 2 } } { m ! ^ { 2 } n ! }
$$

$$
5 0 1 v e \Gamma e c ( ( 1 - 4 ) \cdot 7 [ n + 2 ] + 7 [ n + 2 ] - ( n - 1 ) \cdot 7 [ n ] , 7 [ n ] )
$$

$$
T _ { n } = \frac { \% k _ { 2 } ( 2 n + 1 ) } { ( n - 1 ) ( n ( n + 1 ) ( n + 2 ) } - \frac { \% k _ { 1 } ( 2 n ^ { 2 } + 2 n - 1 ) ( - 1 ) ^ { n } } { ( n - 1 ) ( n ( n + 1 ) ( n + 2 ) }
$$

$$
\frac { \pi ^ { 2 } } { 6 }
$$

$$

• \frac { \log ( x ^ { 2 } - x + 1 ) } { 6 } + \frac { \mathsf { a t a n } \left( \frac { 2 x - 1 } { \sqrt { 3 } } \right) } { \sqrt { 3 } } + \frac { \log ( x + 1 ) } { 3 }

$$

wxMaxima 19.07.0 [examples.wxmx]

Maxima is ready for input.

Ready for user input