定义偏见是道数学难题
在美国的一些州，通常会在刑事被告请求假释时用COMPAS算法对他们进行风险评估。一些媒体报道称，COMPAS是一个黑箱，这意味着人们很难，甚至无法对其内部一探究竟。我联系了COMPAS算法的发明人蒂姆·布伦南（Tim Brennan)，他也是该算法的供应商 Northpointe公司的董事。我问他是否愿意解释这个模型的运作方式，几封邮件往来之后，他给我发了一些内部报告，解释了他的算法如何得出刑事被告中的风险评估分数。当我后来采访他时，他相当坦诚地与我讨论了这个模型，并告诉我为了理解它，需要熟悉哪些方程。
蒂姆的模型结合了刑事被告的犯罪记录、第一次被捕的年龄和现在的年龄、教育水平和一个小时的问卷调查来预测他们是否会再次犯罪。接着他用这些数据来拟合根据过往犯人再犯情况做出的一个统计模型。有过违法或暴力记录的人更容易再次犯罪，教育水平较低或吸毒的人也是如此，而有经济问题或经常搬家的人则没那么容易再次犯罪。这个模型正是用人口宏观层面上的信息来做出预测的。
COMPAS算法中采用的方法与我目前看到的如出一辙：首先使用主成分分析法旋转和降维数据，然后使用根据过往记录做出的回归模型来预测某个犯人是否会再次犯罪。作为一个局外人，要理解这里面的细节绝非易事。技术报告长达数百页，但对模型进行了完整记录，而且蒂姆向我指出了最重要的部分。对比我和剑桥分析公司来往的经历，Northpointe的开放性给我留下了深刻的印象。
然而算法的发明者公开细节这一事实并不意味着他们的算法就会万无一失。2015年，朱莉娅·安格温在一篇文章中称，该算法对非裔美国人存在偏见。朱莉娅的ProPublica团队使用了唯一的自动防故障措施来检验算法是否公正，那就是看它预测的准确性。COMPAS会从1到10中取一个分值来表征犯人将来由于再次犯罪而被逮捕的概率。朱莉娅和她的同事们的研究结果很清楚，得分较高并因此有可能入狱的黑人犯人中有45%的概率被置于过高的风险类别中，相比之下白人犯人被赋予过高分值的概率仅为23%。所以没有继续犯罪的黑人犯人更有可能被算法错误地归类为高风险罪犯。
被算法操控的生活OUTNUMECPED
52