人工智能伦理

图4.34 有句关于考试的调侃，“考考考，老师的法宝。分分分，学生的命根”

有时为了发表论文、通过验收、评测获奖等功利目的，机器学习的开放测试有作假的伦理问题。一方面，出题很有技巧，题目是否接近封闭测试完全在出题者手中把握。表象上的确是开放测试，但考题与封闭测试太接近，测试结果看起来很好，但这样的考试没测出机器的真实水平，成绩不具有说服力。另一方面，为了在开放测试中取得好成绩而专门研究第三方出题者的出题习惯，如各种题型和相应的解题技巧。有时押题有奇效，但面向市场产品化的时候，这样取得的好成绩所欠下的债总是要还的。

图4.35 学术浮夸和学术造假一样，只不过欺骗手段更隐蔽。它们早晚

都会大白于天下，科学家应该是《皇帝的新装》里大声讲出实话的孩子

人工智能研究中，公平的测试有利于学科的健康发展。在私有测试数据上，有“王婆卖瓜,自卖自夸”之嫌，公开测试便成为众望。出题者最好是第三方，独立于竞争者的利益冲突之外，公平、公正、透明是最基本的要求。

例4.11 法国生理学家克洛德·贝尔纳（Claude Bernard,1813—1878）提出并倡导双盲试验（double-blind trial）：在药品功效的检验中，为尽可能地确保客观性、摈除心理、偏好等主观因素的影响，病人被随机分配到对照组（control group）和处理组（treatment group）。

图4.36 贝尔纳提出的双盲试验是因果推断的一种手段

分组信息对于被测者（即病人）和医生都是屏蔽的，在数据收集、分析之后这些信息才予以公布。对照组的病人服用的药物是安慰剂（即没有任何治疗作用的药片或针剂），处理组的病人服用的则是货真价实的待测药。这种随机对照双盲试验将偏差降到最小，是目前比较常用的试验设计。如果分组信息对数据分析人员而言也是屏蔽的，这样的三盲试验则可以进一步减少分析上的偏差。

图4.37 双盲试验前，参与者要签署知情同意书，避免陷入伦理纠纷

服用了安慰剂的病人，如果因为坚信药品的功效而康复，则说明心理因素可能起了作用——评估药品的功效时，应该剔除这类混淆因子。双盲试验需要承担一些伦理风险，那些因为安慰剂而耽误了医治的病人，必须在参与试验之前了解双盲试验的规则。事实上，凡是以人为研究对象的试验都会面临伦理风险。

图4.38 药物的临床试验，其疗效要经过随机分组对照的大样本双盲试验的证明

例4.12 考虑一个训练数据集是否提高了机器学习模型的成绩，可以使用单盲试验：把加训模型 $M _ { I }$ 和未加训模型 $M _ { \theta } ^ { ; }$ 交给几个测试者，但不告诉他们哪个是加训模型，如果反馈意见中选 $M _ { I }$ 更优的比例接近1，则基本可以肯定加训有效。

例4.13 人们常用一个称作k-折交叉验证（k-fold cross$\mathrm { v a l i d a t i o n } )$ ）的随机试验来评估分类器C的效果：把数据随机等分k份，依次取一份做测试用，其余k−1份做训练用，得到k次测试的正确率 $p _ { \mathit { l } } , p _ { \mathit { 2 } } , \cdots \cdot p _ { \mathit { k } } { } ^ { \mathit { l } } , p _ { \mathit { k } } { } ^ { \mathit { l } }$ ，其算术平均值是：

$$
= - \frac { 1 } { 2 } ( 1 + 2 + \frac { 1 } { 2 } ) - \cdots + 2
$$

这个平均值 常用来评估C的正确率。更公平的评估方法 $\overline { { p } }$ 是独立地重复k-折交叉验证很多次，得到足够数量的$\overline { { p } } _ { 1 } , \overline { { p } } _ { 2 } , \cdots ,$

看它们的经验分布怎样，大均值、小方差的结果才是好的。也就是说，一次好不算好，次次好才是好。