被算法操控的生活：重新定义精准广告、大数据和AI

“阴魂不散”的广告还有另一个主要来源，那就是重定向：我们搜索过阿尔加维的旅行，只是忘记了。但是网络浏览器却已经记住这些信息并反馈给了途易集团，于是后者根据这些信息为我们推荐最好的酒店房间。

我们被海量广告狂轰滥炸。我们长时间盯着我们的手机和屏幕，这使得广告似乎能够不时地读懂我们的想法。

真正聪明的并不是算法。这些才智来自于数据炼金术士，他们把数据和自己对客户的理解相结合。约翰和他同事的方法很成功，因为它对业绩的影响立竿见影，甚至有时能增加十倍的销售额，但他们的方法并没有遵循明确的科学方法论，因此比较缺乏严谨性。约翰告诉我，即使有一个非常聪明的数据科学家对其客户的详细模型研究了10年，他也不相信这个模型值得投资。他告诉我说：“我们的方法需要对大量的人员进行研究，目前这些数据还不够可靠，无法专门定向小目标群体。”

与加里、格伦和约翰的交谈让我意识到，算法对人进行分类的道路还很漫长崎岖。由于算法的预测依赖于点“赞”的数据，它对我们行为的预测，在精确性上不及我们身边的人。只有被了解其局限性的人使用，算法才能发挥它最大的作用。

就在我得出这个结论的同时，我发现了与COMPAS算法有关的一些新情况，一些光靠自己的能力永远无法明白的事情。

人肉预测与模型预测，谁更胜一筹？

在我忙着写这本书的时候，来自新罕布什尔州达特茅斯学院计算机科学专业的学生朱莉娅·德雷斯尔（JuliaDressel）发表了一篇引人注目的优秀论文。她也研究了预测犯人再次犯罪的算法模型，但采取了不同角度。她想看看与人类相比，这个算法的表现会有多好。

为了比较人类和算法，朱莉娅借助了ProPublica从佛罗里达州布劳沃德县的罪犯那里获取的数据。她采用了罪犯的性别、年龄、种族、过往不端行为和犯罪记录以及起诉书对犯罪所做的事实描述，来建构描绘罪犯的标准化段落，格式如下：

被算法操控的生活OUTNUMBERED

70

被告【种族】【性别】【年龄】，被指控犯有【犯罪指控描述】该罪行等级为【罪行等级】。之前已【次】被宣布有罪。

有过【次】青少年重罪指控、【次】青少年行为不端指控记录在案。

直接从布劳沃德县的数据库提取每个变量（种族、性别等）并套到上面的格式中，这就是关于罪犯的所有信息，没有对罪犯进行心理测试，没有对以前的犯罪行为进行详细的统计分析，也没有任何面谈。朱莉娅研究的课题是，未曾受过法律培训的人是否可以通过这个简短的描述预测被告是否会再次犯罪。

为了验证她的猜想，朱莉娅使用的工具和亚历克斯·科岗在他研究伊始所用的一样：“机械土耳其人”。她给在美国工作的这些“机械土耳其人”1美元，请他们评估50个不同被告。在他们看过每一段描述之后她会发问：“你认为这个人会在两年内犯下另一项罪行吗？”他们需要回答“会”或“不会”。朱莉娅提前告诉这些人，如果他们在至少65%的案件中做出了正确的回答，他们将获得5美元的奖金。这给了他们额外的动力去做出好的预测。

几乎一半的“机械土耳其人”答对了足够多的问题，赢得了奖金。参与调查的“机械土耳其人”平均正确预测了他们63%的案例，将近二分之一的人拿到了这额外的5美元。

更重要的是，他们的表现比起算法来说差距并不大，实际上几乎平分秋色。

对于在量刑时使用算法的人来说，这是一个发人深省的研究结果。

第一部分 算在监视我数据做了什么？

71

尽管算法纷繁复杂，必须广泛收集数据、对罪犯进行长时间采访、采用主成分分析和回归模型、编写150页的使用手册，还要花费很多时间来训练法官使用它，但它产生的效果并不比人所做的判断好，而且这些人是从互联网上随机招募来的。不管我们找的被测试者是谁，都可以肯定一件事情——花点时间猜一下谁可能再次成为罪犯就能挣到1美元，人们何乐而不为呢？结果就是，业余人士打败了算法。

朱莉娅担心技术会在很多方面成为压迫弱者的帮凶，正是出于这个原因，她展开了研究。她告诉我，“人类总是理所当然地认为技术是客观公正的，所以那些技术未能带来公正的时候往往是最危险的时候。

COMPAS算法存在种族偏见的新闻被广泛报道，这是最初促使朱莉娅展开研究的动因。她想知道人类是否会表现出与算法相同的偏见。在这点上，她的研究结果支持了蒂姆·布伦南的观点，即他的算法是公平的。不管对被告的种族是否知情，“机械土耳其人”都做出了同样的判断，而这些判断几乎在各个方面都与COMPAS算法所做的如出一辙。因此，如果说“机械土耳其人”是种族主义者，那么COMPAS算法也是，如果说“机械土耳其人”不是种族主义者，那么COMPAS算法也不是。

不，COMPAS并不比我们更种族主义，但也不是特别有效。朱莉娅为我简明扼要地总结了她的重大发现：“我发现，一个被广泛用于预测再犯的大型商业软件，并不比那些几乎没有刑事审判经验的人根据在线调查问卷结果所做的预测更准确、更公平。

我同意她的观点。我对数据的研究表明，基于年龄和前科所建立的模型，其精确度与COMPAS相似，而“机械土耳其人”在做出判断时所依赖的也是那些元素。

我没有办法系统地测试所有判断人类行为和性格的算法，因为我的时间有限。但对于那些我详细研究过其模型的领域—一足球、音乐品味、犯罪预测和政治人格一一我得出了同样的结论，在预测的准确性上，算

被算法操控的生活F

72

法最多和人类不相上下。

这个结论并不意味着算法毫无用武之地。即便算法在准确性上和人不相上下，但它们在速度上存在巨大优势。声田拥有数以百万计的用户，雇用人类操作员来评估它的每一首歌属于哪种类别将会产生难以负担的成本。同理，途易的数据炼金术士也选择使用算法来确保我们了解到最适合我们的假期安排。

如果算法的表现与人类的水平相同，那么计算机就会获胜，因为它们处理数据的速度远非人类可比。所以，模型虽然远远不够完美，但确实非常有用。

然而大规模使用算法来判断将要假释的犯人再次犯罪的倾向时，上述的解释就不那么正确了。COMPAS算法所需的数据采集复杂而昂贵，并且能够处理的案例相对较少，因此没有充分理由用机器代替人工。还有一个关键问题涉及算法的侵入性和个人隐私的保护。在“机械土耳其人”的判案实验中，工人只得到了关于犯人的公开信息，却也做出了准确判断。对许多犯人来说，接受面谈和评估是一个有损人格的过程，然而这个过程似乎并没有提高再犯率预测的水平。

在目前所有这些与我交谈过的人当中，朱莉娅最让我印象深刻。她没有为谷歌、声田或途易之类的跨国公司工作，她没有在剑桥或斯坦福这样的学术机构担任教授，她也没有得到ProPublica或《卫报》之类大型媒体的支持。她只是一名大学生，一名想要挑战她所生活的世界并在短短的时间内取得了惊人成绩的大学生。正是像朱莉娅这样的人让我们不至于在信息和人工智能时代六神无主。

第一部分 算在监我数据做了什么？

73

2 被算法操控的生活

第二部分

算法想控制我们

网络能够影响我们的情绪和行为吗？

脸书过滤我们的消息流，推特过滤我们的时间轴，谷歌过滤我们的搜索结果。我们越是点击某类信息，这些“过滤器”算法就越是推送相关内容。由此形成的回声室和气泡是否真如媒体所说，让我们只看到自己想看的东西，以至我们的行为也受控于它们？

第8章|预测竞选结果的模型是怎么“炼” 成的?

刷新，刷新，刷新。随着2016年美国总统大选投票开始，政治预测网站FiveThirtyEight每小时访问量达到数干万。美国选民和世界各地的公民不断刷新他们的浏览器，想知道希拉里·克林顿或唐纳德·特朗普成为下一任美国总统的可能性。希拉里获胜的预测结果精确到小数点后一位数，不停地上下浮动，64.7%、65.1%、71.4%……而且每天都在变化。在第一次总统竞选辩论之前，这一数字曾一度低至54.6%，在第三次辩论之后上升至85.3%，最后定格在71.8%不再变化，因为美国人们已经投票，一切都将尘埃落定。我不确定FiveThirtyEight网站的访客不断刷新，关注选举预测结果的小数点后几位，到底希望找到什么。我也是其中一员，我也不确定我想要什么，也许是某种形式的确定性吧。

第二天早上所有的不确定性都烟消云散了。特朗普100%赢了，希拉里100%输了，就是这么简单。没有精确到小数点后几位，没有必要，大家看空的人赢了，大家看好的人输了。

第二部分 算法想能影我我们的情绪和行为吗？

77

选举结果只有两种，但概率世界并非如此

这不是预测模型的第一次失败，也不是最离谱的失败。也许近年来最糟糕的民意调查错误发生在2015年英国大选的预选阶段。在投票的前一天，《卫报》的算法模型预测保守党和工党得票不相上下。第二天早上结果出来后，就连保守党领袖大卫·卡梅伦（David Cameron）似乎也对他们取得议会中的多数席位感到惊讶。

英国接下来的全民公投是脱欧议题。众多的民意调查结果表明选择留在欧盟和选择脱离欧盟的票数很接近，但大多数算法模型都错误地预测了英国脱欧公投的结果。在2017年的英国预选中，就连民意测验专家似乎也不知该如何向大家展示自己的预测。在投票前10天，市场调查公司YouGov的算法模型预测，与之前的选举相比，保守党获得的投票数将大幅下降。YouGov的模型与其他主要的民意调查结果相左，所以当YouGov被批评在《泰晤士报》头版高调刊登它的预测结果后，公司承认自己对选举结果非常紧张。虽然事后证明YouGov做出了正确的预测，而且选举结果是议会中无任何党派占明显多数，但许多人仍然认为它只成功了一半。越来越多的人认为算法模型无法预测选举——小数点没有任何意义。

这些挫折发生在选举统计模型大行其道的十年之后。在这十年时间内，选举预测经历了从报纸主导的民意调查到在线政治网站的平台转变，比如由内特·希尔弗(Nate Silver)经营的 FiveThirtyEight 网站，以及《纽约时报》的“一锤定音”（the Upshot)。我们此前已经知道，算法是基于概率而非非此即彼的结果来工作的，民调预测也不例外。没有一个合理的算法会断言某人一定会犯罪或者会去葡萄牙度过下一个暑假，同理，也没有一个算法，哪怕是为《赫芬顿邮报》(Huffington Post）量身定做的算法，会断言希拉里百分之百获胜。

被算法操控的生活OUTNUMBERED

78

根据民调结果创造出预测模型的大数据专家面临着这样的挑战，我们人类不断地以二元对立的态度看待概率预测：“是”或“不是”“英国脱欧”或“留欧”“特朗普”或“希拉里”。我们懒惰的头脑喜欢确定性。2012年美国总统大选之后，内特·希尔弗的模型准确地预测了美国所有州的选举结果，博客和社交媒体将他奉为天才。《卫报》称他“神机妙算”。然而就在短短几年之后，当内特预测特朗普仅有5%的机会成为共和党提名人时，《卫报》又称他“错得离谱”。到2016年美国总统大选时，FiveThirtyEight预测希拉里胜选的概率为71.8%，结果社交媒体铺天盖地地对他的算法口诛笔伐。《纽约时报》的一位专栏作家写道，“对数据统计人员来说这将是一个难眠之夜”，暗指希尔弗和其他众多统计学家都做了错误的预测。

我们喜欢我们的世界同时存在英雄和坏人，天才和白痴，我们喜欢非黑即白的确定性世界，而不是现实而充满概率的灰色。因此，我们对民意调查时爱时恨，也就不会让人意外。

我们一开始就得明确一些事情。尽管使用模型来预测选举不时失败，它还是比我们抛硬币猜输赢要准确得多。尽管大多数模型预测英国脱欧和特朗普胜选的概率不到50%，但例外情况谁也不能保证不会发生，因此我们不能认定常规无用。大多数情况下，民意调查以及基于民意调查做成的预测模型，给出的是某个最终结果出现的可能性，也就是概率。特朗普得到的28.2%获胜概率并不小。我随便抛一下四面的龙与地下城（Dungeons & Dragons）骰子得到4点，大家就会叫我大师。事实上，有证据表示，民意调查做得越细致、越频繁，得到的预测就越准确。图8.1显示了过去80年来美国大选民调的准确性。2016年的一次失误不代表民调的准确性就大打折扣。

第二部分 算法能影我我们的情绪和行为吗？

79