被算法操控的生活：重新定义精准广告、大数据和AI

在我看来，剑桥分析公司的故事基本上就是一次炒作①，他们夸大了自己能够用数据做的事情，但这只是众多案例中的一个。从脸书和声田②到旅行社和体育顾问，他们都声称能够创建对我们进行排序并解释我们行为的算法，所以我需要更多地了解这些算法的准确性。这些算法到底有多了解我们？它们是否正在犯着其他更危险的错误？

被算法操控的生活INUMBEPED

①在本书付梓时，剑桥分析公司的炒作已经被大规模地揭露了。—作者注

②声田是一个正版流媒体音乐服务平台，2008年10月在瑞典首都斯德哥尔摩正式上线。

50

第6 章|要算法毫无偏见？不可能！

分析人格的算法改变了我的认知，只是它的方式并非是我所期望的。我不太担心算法会对我们做出精确得可怕的预测，而是更担心人们推销算法的方法。

我对剑桥分析公司的判断与我在阅读了关于班克西的文章后得出的初步结论类似。在班克西的案例中，研究人员需要知道他是谁才能来追踪他；在政治竞选或刑事调查中，算法能够起到整理数据的作用，但这不仅仅是按下按钮再找到一名涂鸦艺术家或一群神经质的共和党人那么简单。

人们推销算法的时候，经常说它们能够洞察我们是什么样的人，并能够预测我们未来的行为。社会用它们决定我们是否能够得到一份工作、申请到贷款或者是否应该被送进监狱。

我认为自己需要更多地了解这些算法的内部机制以及它们可能犯下的错误的类型。

第一部分 算在监视个我数据做了什么？

51

定义偏见是道数学难题

在美国的一些州，通常会在刑事被告请求假释时用COMPAS算法对他们进行风险评估。一些媒体报道称，COMPAS是一个黑箱，这意味着人们很难，甚至无法对其内部一探究竟。我联系了COMPAS算法的发明人蒂姆·布伦南（Tim Brennan)，他也是该算法的供应商 Northpointe公司的董事。我问他是否愿意解释这个模型的运作方式，几封邮件往来之后，他给我发了一些内部报告，解释了他的算法如何得出刑事被告中的风险评估分数。当我后来采访他时，他相当坦诚地与我讨论了这个模型，并告诉我为了理解它，需要熟悉哪些方程。

蒂姆的模型结合了刑事被告的犯罪记录、第一次被捕的年龄和现在的年龄、教育水平和一个小时的问卷调查来预测他们是否会再次犯罪。接着他用这些数据来拟合根据过往犯人再犯情况做出的一个统计模型。有过违法或暴力记录的人更容易再次犯罪，教育水平较低或吸毒的人也是如此，而有经济问题或经常搬家的人则没那么容易再次犯罪。这个模型正是用人口宏观层面上的信息来做出预测的。

COMPAS算法中采用的方法与我目前看到的如出一辙：首先使用主成分分析法旋转和降维数据，然后使用根据过往记录做出的回归模型来预测某个犯人是否会再次犯罪。作为一个局外人，要理解这里面的细节绝非易事。技术报告长达数百页，但对模型进行了完整记录，而且蒂姆向我指出了最重要的部分。对比我和剑桥分析公司来往的经历，Northpointe的开放性给我留下了深刻的印象。

然而算法的发明者公开细节这一事实并不意味着他们的算法就会万无一失。2015年，朱莉娅·安格温在一篇文章中称，该算法对非裔美国人存在偏见。朱莉娅的ProPublica团队使用了唯一的自动防故障措施来检验算法是否公正，那就是看它预测的准确性。COMPAS会从1到10中取一个分值来表征犯人将来由于再次犯罪而被逮捕的概率。朱莉娅和她的同事们的研究结果很清楚，得分较高并因此有可能入狱的黑人犯人中有45%的概率被置于过高的风险类别中，相比之下白人犯人被赋予过高分值的概率仅为23%。所以没有继续犯罪的黑人犯人更有可能被算法错误地归类为高风险罪犯。

被算法操控的生活OUTNUMECPED

52

朱莉娅和同事的文章发表后，蒂姆和Northpointe很快做出了回应。他们写了一份研究报告，反驳ProPublica的分析是错误的。他们认为，COMPAS遵循的标准和其他久经检验的算法相同。他们声称，他们的算法对白人和黑人罪犯都进行了“精心校准”，而朱莉娅和她的同事们都对算法犯错这一概念产生了误解。

Northpointe和ProPublica之间的争论让我意识到偏见问题的复杂性。这些人都很聪明，他们在洋洋洒洒近百页的文章中你来我往地抗辩与驳斥，并辅以计算机代码和更多的统计分析。随后，博客、数学家和记者都对双方的辩论进行了热烈讨论，发表了自己对算法偏见的看法。定义偏见是一道数学难题，想弄明白就需要仔细研究它。

为此我下载了ProPublica收集的数据，开始了我的研究。ProPublica收集的这些数据如表6.1所示，它们来自佛罗里达州布劳沃德郡（BrowardCounty)。为了理解 ProPublica 的论点和 Northpointe 的反击，我重新制表以便展示COMPAS算法将白人和黑人罪犯进行分类的方式，以及他们是否会因为再次犯罪而被捕。列，显示的是被COMPAS算法归为高风险和低风险的人数；行，显示的是再次犯罪和没有再犯的人数。

让我们花一分钟看看这张表，问下自己是否认为这个算法存在偏见。首先我们比较一下有多少黑人和白人被归为高风险罪犯。3615名黑人罪犯中有2174人被列为高风险，概率是2174/3615≈60%。对白人罪犯的情况进行同样的计算后，我们发现他们被归类为高风险的概率仅为34.8%。所以黑人比白人更容易被视为潜在的犯罪分子。

第一部分 算在时个我数据做了什么？

53

此分解表显示了COMPAS算法中的风险评估项目（列）和两年内犯人是否会再次犯罪的预测情况（行）。关于“高风险”和“低风险”的定义及其他细节请参见 ProPublica 的分析报告

这种差异本身并不意味着该算法存在偏见，因为在黑人和白人犯人中，再次犯罪的比例有所不同：52.6%的黑人罪犯在两年内因另一项罪行被逮捕，而仅有39.4%的白人罪犯因另一项罪行被抓。归类为高风险或低风险的犯罪者，其总体比例差异并不构成ProPublica对该算法的批评基础。朱莉娅和她的同事们意识到黑人罪犯的惯犯率比白人罪犯高，于是认为这个算法一定犯了某种类型的错误。

在评估算法时，我们用“误报”(FalsePositive，也称假阳性)和“漏报’（False Negative，也称假阴性）来思考通常都是有效的。对于COMPAS算法来说，误报指的是一个不会在未来犯罪的人被列为高风险罪犯的情况，也就是说模型做出了肯定却错误的预测。误报率指那些没有再次犯罪却被列为高风险罪犯的人数除以未再犯的总人数。

黑人罪犯的误报率是805/1714≈46.9%，白人罪犯则是23.5%，因此黑人罪犯的误报率比例比白人被告高很多。

被算法操控的生活OUTNUMBERED

54

如果警察拘留了你，并且法官正在借助算法来评估你，那么你得到的最坏结果就是误报。真阳性（TruePositive）的判断是公平的：算法预测你存在犯罪风险，而你也确实如此。但误报却意味着你可能被拒绝假释或者被判比应得刑期更长的监禁时间。这种情况更多地发生在黑人罪犯而不是白人罪犯身上，可是被贴上高风险标签的黑人罪犯几乎有一半没有再次犯罪。

与此相反，发生在白人罪犯身上的则更多地是漏报，即某个人被归入了低风险人群，但他却再次犯罪。白人罪犯的漏报率是461/966≈47.7%，黑人罪犯则是532/1901≈28.0%。高漏报率意味着很多本应被拘留的人却重新获得自由并犯下了罪行，这对于社会来说是一个严重问题。几乎有一半再次犯罪的白人在评估中被算法贴上了低风险的标签。

就误报率和漏报率来看，这个算法的表现确实很令人失望，黑人有可能因为它被无辜地判以更久的刑期，而会犯下更多罪行的白人则被释放。

Northpointe公司针对这一指责回应道，人们应该根据预测结果是否公正地对待黑人和白人来评价他们的算法。事实上他们的算法的确做到了一碗水端平。

看一下表6.1的第一列，我们会发现，在2174例案件中有1369名被列为高风险的黑人罪犯继续犯罪，其比例为63.0%。相应地，854名白人罪犯中，505名被归为高风险罪犯的人继续犯罪，其比例约为59.1%。这两组比值差不多，因此该算法对黑人罪犯和白人罪犯所做的校准是恰当的。不管某个特定罪犯属于哪个种族，交到法官手中的风险值都反映了这个人再次犯罪的概率。

这两种评估偏见的方法产生了矛盾的结果。朱莉娅和她在ProPublica的同事关于误报和漏报的论证铿锵有力，但是蒂姆和他的团队关于算法校准的回应也理直气壮。针对同样的数据表，两支不同的专业统计学家团队得出了相反的结论。他们两支团队的计算都没有错误，那么到底谁是正确的？

这个难题被斯坦福大学的两位博士生萨姆·科比特-戴维（Sam

第一部分 算在监我数据做了什么？

55

Corbett - Davie）、艾玛·皮尔森（Emma Pierson）和两位教授阿维·费勒（Avi Feller)、沙拉德·戈埃尔（Sharad Goel）一起合作解决了。他们证实了 Northpointe 的说法，即表 6.1 显示 COMPAS 算法给出了不分种族的公平预测。接着，就像数学家们喜欢挑战难题一样，他们指出了一个更具普遍性的问题：如果一个算法对于两个群体来说同样可靠，并且一个群体比另一个群体更有可能再次犯罪，那么这两个群体将不可能有相同的误报率。如果黑人罪犯更频繁地再次犯罪，那么他们被错误地归于高风险类别中的概率就更大。任何其他结果都表明这个算法对这两个种族做了不公平的校准，因为那意味着它必须对白人和黑人罪犯使用不同的评估方法。

相同的误报率和相同的漏报率不可兼得

为了更好地理解这一点，我们先来进行一个思想实验。假设我想在脸书上发布一个在线招聘广告，为我的研究团队招聘一名计算机程序员，那么很简单地，我只要在研究小组的脸书页面上发布一个招聘启事，然后点击“速推帖子”（boost post)按钮来定向发布这个广告。通过使用“寻找受众”（create audience）功能，我可以找到爱狗人士、退伍老兵、游戏机玩家或摩托车骑手。我还可以找到拥有表演、舞蹈和吉他演奏等爱好的人。

脸书没有一个可以让我单独定向男性或女性的选项，我也不认为它应该提供这样的选项。但我知道，由于男女生在高中和大学做出了不同的教育选择，有更多男性而非女性对编程工作感兴趣。我们出于论证需要假设，1000名女性中有125人对程序员的工作感兴趣，而1000名男性中有250人对此感兴趣。

编辑招聘广告的时候，我决定勾选几个我认为能够吸引计算机程序员的选项：角色扮演游戏、科幻电影和漫画。这些应该足够了。我记得自己攻读计算机科学专业时的学生时代是什么样的，因此知道很多程序员都喜欢这些东西。通过这种方式，我可以吸引到一些优秀的申请者，而且不需要把广告费浪费在对这份工作不感兴趣的人身上。

被算法操控的生活M

56

于是我发布了招聘启事并开始等待。

一天之后，脸书将我的广告推送给了500个人，包括100位女性和400位男性。

当我告诉你结果时，你也许会震惊。在这之前，你可能会跟我说，“你在宣传招聘广告的时候带有偏见。角色扮演？科幻小说？你勾的那些选项不仅吸引电脑迷，而且通常情况下吸引的男性比女性多。你的算法不公平！”

“但你看，”我说，“我已经做了统计。我的算法是公正的。”接着，我会拿出表6.2给你，并用高人一等的语调一板一眼地说：“在被算法推送了广告的100位女性中，有50位对这份工作感兴趣，并将继续申请这个岗位。”在400名看到它的男性中则有200人对此感兴趣。因此，对于看到了它的人来说，这份广告不存在性别歧视。

“但是比女性多三倍的男性看到了它！”你喊道，对我蛮不讲理的数字命理学感到绝望，“而且你从一开始就知道，对这份工作感兴趣的女性至少是男性的一半。你是在夸大已有的社会偏见。”

第一部分

算法在监视我们互联网对个人数据做了什么？

57

当然，你是对的。我制作了一个广告，看到这个广告的男性数量是女性的四倍，这不公平。但我会运用和Northpointe同样的逻辑去证明自己的算法是正确的。就对这项工作感兴趣的两组人来说，我们做出正确预测的比例是一样的，这就是我所使用的无偏差校准的定义，而无偏差校准也是蒂姆·布伦南证明COMPAS算法对黑人罪犯和白人罪犯做了公平预测时所使用的依据。我的广告特别注意消除校准偏差。

现在，你在脸书广告的算法中多勾选了一些选项。我们运行了这个模型之后得到了表6.3所示的结果。现在，该算法向100名可能会有意愿申请这份工作的女性以及200名可能会对此次招聘感兴趣的男性做了推送。100比200的比例反映了潜在的对该职位感兴趣的男女的数量比(125比250)，此外男性和女性两组人的漏报率（五分之一）也是一样的。

被算法操控的生活OUTNUMBERED

58

然而即使我接受了你的处理方式，还是忍不住要指出这里的一个陷阱。看到这则广告的女性中，只有三分之一的人对这份工作感兴趣，而看到这则广告的男性中有一半对此感兴趣。如果再考虑到那些没有看到广告的人，我们可以说这是在歧视男性。在没有看到这则广告的男性中，每11个人中有1个人对这份工作感兴趣，而在没有看到这则广告的女性中，每27人中只有1个人对此感兴趣。我们校准后的新算法变得对女性有利了。

可见不公平的现象就像游乐场里的打地鼠游戏，按下葫芦浮起瓢：你把地鼠从一个地方敲下去，它就会从另一个地方窜出来。你可以自己试着做两个2乘2空表，试一试以一种不带偏见的方式把1000名女性（其中有125名对这份工作感兴趣）和1000名男性（其中有250名对这个工作感兴趣）填入这四个格子里。结果是你做不到。在群体之间进行校准和使男女上班族得到相同的误报率及漏报率这两件事不可兼得，总有一些人会受到歧视。

数学的美妙之处在于我们可以通过它证明普适的结论。这正是康奈尔大学计算机科学家乔恩·克莱因贝格（JonKleinberg）、曼尼什·拉加万(Manish Raghavan)与哈佛大学经济学家森德希尔·穆莱纳坦(SendhilMullainathan）一起用很多类似表6.2和表 6.3的2乘2频率分布表所做的事情。在我的例子中，我用了具体的数字组合，但是乔恩、曼尼什和森德希尔都证明了，一般而言，我们不可能在消除两组的校准偏差的同时得到相同的误报率和漏报率。这个结果与我们输入表中的数字无关，除了一个明显的例外各组的基本特征完全相同。因此，只有当佛罗里达州布劳沃德县的黑人和白人被告的再犯罪率相同或学习计算机编程的女性和男性一样多时，我们才有希望做出完全没有偏见的算法。当我们生活在一个方方面面都不公平的世界中时，我们就不能指望我们的算法完全公平。

第一部分 算在监视我数据做了什么？

59