被算法操控的生活：重新定义精准广告、大数据和AI

现代选举预测的背后是一套可靠和行之有效的方法论。在民调预测者们看来，选举结果是一条钟形曲线，他们称其为概率分布，如图8.2所示。曲线的最高点代表选举中最有可能的结果，“钟腹”的宽度代表了我们对选举结果的不确定性。一个非常窄的钟腹代表高度的确定性，一个宽的钟腹代表着高度的不确定性。

预测模型将根据新的数据不断地调整我们的钟形曲线，如图8.2从上至下所示。让我们假定，一开始我们不太确定哪位候选人领先，但是我们估计在民意调查中希拉里具有领先特朗普1个百分点的优势，我们可以用一个较宽的钟形曲线来表示这个概念，如图8.2（a）所示，曲线的中心在+1位置（希拉里一侧）。

在民意调查中，1个百分点的领先优势意味着50.5%的人表示将投票给希拉里，而49.5%的人表示“将投票给特朗普”。这些数字，50.5和49.5，并不是候选人获胜的概率。不过，假定当天是大选投票日，我们可以利用曲线下的面积来计算出特朗普或希拉里获胜的概率。在这个案例中，特朗普有42%的概率获胜，希拉里则有58%的概率获胜。因此，尽管我们相信希拉里处于领先，但我们仍然认为特朗普有一定的机会赢得选举。

现在我们另外假设，一项新的民意调查显示，特朗普在全国范围内领先1个百分点。对这一结果的一种可能解释是，特朗普真的领先希拉里，但我们目前的钟形曲线中心被放错了位置。另一种解释是他仍然落后，但民调结果却不成比例地调查了更多的特朗普支持者。因此，即使是最好的民意调查也包含不确定性，一方面是因为它们只调查到很少一部分美国人，另一方面也是因为还有一些人在犹豫到底支持谁。为了反映这种不确定性，我们将钟的中心向右移动至特朗普领先的区域，并且把它拉宽，如图8.2（b）所示。

被算法操控的生活OUTNUMBEDED

80

第二部分 算法能控制我我们的情绪和行为吗？

81

2016 年 9 月 26 日—项 A+ 级民意调查 Selzer & Company 显示特朗普拥有微弱的领先优势，FiveThirtyEight随即对自己的模型做了类似的调整。在此之前，FiveThirtyEight预测希拉里的获胜概率为 58%。而当它根据最近民意调查结果更新了模型后，FiveThirtyEight 预测希拉里有 52%的概率获胜。

在2016年大选接下来的几周中，大多数民意调查显示，希拉里以微弱优势领先，于是钟形曲线逐渐往左移动并变得窄长。随着时间的推移，民意调查慢慢地将预测她获胜的概率扩大至70%多。到了这个时候，钟形曲线看起就像图8.2（c）所示那样。

概率分布法要求对预测的所有不确定性进行详细的记录。因此，希尔弗和他的团队创建了一个完整的政治民意调查专家名单，并根据他们的水平从“A+”到“C-”对他们进行降序排名。另外还有一个F组，列入的是那些被认为是伪造调查数据或调查手法不道德的民调结果。希尔弗和他的团队根据这一排名和调查的新旧程度来给予不同的民意调查结果不同的权重。

FiveThirtyEight研究了民意调查的有效性能够持续多长时间，并使用回归模型预测了全国调查如何反映不同州的民意。一旦完成这些全部数据的收集和整合工作，FiveThirtyEight团队就会模拟选举，将各种各样可能的偏差考虑在内，并更新其钟形曲线。

被算法操控的生活OUTNUMBERED

82

许多人在选举前不断地点击刷新的最终预测数字，代表的是领先者曲线下的面积。

希尔弗的方法有缜密的思维支持，而且他对民调数据的权重做了大量工作。媒体在2016年大选后对希尔弗的预测进行了负面报道，他对此表示不满，也是可以理解的。以FiveThirtyEight网站为阵地，他在一系列文章中展开了反击媒体的行动。《纽约时报》是他攻击的焦点。在投票前的几周，《纽约时报》还没有意识到，选举团制的微妙之处使希拉里的领先优势非常微弱。《纽约时报》的一名记者写道，在民意调查中失去几个百分点，将使民主党人无法获得压倒性的胜利，但她还是会赢得决定性的胜利。在记者看来，希拉里的胜利或多或是少板上钉钉的，问题只在于优势能有多大。

那位记者的推理实属无稽之谈。图8.2中的概率分布显示了各种可能的最终图景。即便一个候选人拥有和希拉里相同的赢面大约72%的获胜概率，选举还是有可能产生许多不同结果，包括希拉里的压倒性获胜和特朗普的当选。如果不讨论潜在的可能性，那么我们不管强调哪一种结果都毫无意义。

当获胜的希望落空之后，《纽约时报》发表了一篇题为“数据如何让我们在选举中失望”的文章，讥讽数据统计人员将度过一个难眠之夜。《纽约时报》的“一锤定音”模型预测希拉里胜选的概率为91%，于是这篇文章罗列了自己的模型以及内特·希尔弗和FiveThirtyEight预测方法中所谓的问题。《纽约时报》没有能力解释不确定性，却诿过于统计学家。对内特来说，这无非印证了媒体很难从概率的思维出发，写出一篇合理的文章。

通过研究过去10年里FiveThirtyEight的发展历程，我收获了意外的惊喜。这个网站简直就是一个关于数学模型局限性的有力案例。内特·希尔弗水到渠成地成为了这方面研究的权威。他积累了大量的财务资源(FiveThirtyEight 由娱乐与体育节目电视网所有)，由此能够根据大量可靠的数据建立复杂的模型。从阅读他的书《信号和噪音》(The Signal and theNoise)，我可以看出他是一个聪明、头脑冷静的人。他精通数学，对预测模型的运作方式做了深入思考，理解数据和现实世界之间的关系。如果说有人能够创造出一个接近完美的选举模型，那这个人非内特·希尔弗莫属。

第二部分 算法能我我们的情绪和行为吗？

83

群众的智慧=超级预言家

至于人类行为分析方面，迄今为止我们所看到的算法和人类相比，准确度最多只是平分秋色。预测再犯罪的概率时，朱莉娅·德雷斯尔的“机械土耳其人”与最先进算法的水平不相上下，但他们所用到的数据少得多；基于点“赞”做成的人格模型距离“了解我们”还很遥远，而声田也在致力给出和朋友一样准确的音乐推荐。

我想知道同样的限制是否存在于FiveThirtyEight 模型中。考虑到内特·希尔弗占据的资源，FiveThirtyEight是算法预测中无可争议的王者。我想知道人类是否有实力与它一决高下，他们能匹敌内特的模型甚至打败它吗？

在总统初选期间，美国的《咖啡馆》(CAFE）杂志聘请了一位名叫卡尔·迪格勒（CarlDiggler）的专家，他拥有“30年的政治新闻从业经验”，只凭自己的“直觉和经验”为美国各州的每一场初选做出预测。毫无疑问他对自己的工作很在行。在超级星期二①的22场初选中，他猜对了20场竞选结果。当他的预测能力在一场又一场的选举中得到验证的时候，他向希尔弗发起了挑战，要来一场短兵相接的预测竞赛。希尔弗没有回应，但迪格勒还是坚持与之较量。在初选结束时，迪格勒的准确率为89%，达到了和FiveThirtyEight同样的水平。不仅如此，他预测的场数是希尔弗网站预测的2倍之多。可以说卡尔·迪格勒是美国总统初选的预测冠军。

被算法操控的生活UTNUMBERED

①“超级星期二”这一名词首次诞生于一九八四年美国总统大选。美国总统选举可分为预选和大选两个阶段，年初预选时会有多个州集中在星期二进行选举，其结果会对党内最终提名产生重要影响，因此这一天被称为“超级星期二”。

84

卡尔·迪格勒的预测货真价实，但他本人不是。他是一个虚构的人物。两名记者费利克斯·比德曼（Felix Biederman）和维吉尔·德克萨斯（VirgiTexas）凭自己的直觉做出预测，并开设了卡尔·迪格勒专栏。他们最初就是想讥讽一下那些像迪格勒一样夸耀自己准确率的政治专家，但当他们开始做出成功的预测时，他们把矛头转向了希尔弗。选举结束后，维吉尔在《华盛顿邮报》上发表了一篇评论文章，批评FiveThirtyEight的预测存在误导性。他指责希尔弗的预测是不能被“证伪”的，因为人们无法对它们进行测试，并批评FiveThirtyEight似乎两头下注，用概率来保证其预测万无一失。

在迪格勒成功预测的基础上，维吉尔对希尔弗算法的批评没有切中要害。希尔弗的模型无法证伪这个说法是不对的，我会在接下来的篇幅中证明它可以接收测试。事实上，维吉尔在《华盛顿邮报》上发表的文章具有严重的“选择性偏差”（selectionbias）和“被随机愚弄”的意味，前者是心理学词汇，后者是金融大师纳西姆·塔勒布（NassimTaleb）发明的词。这篇文章之所以引发关注，完全只是因为迪格勒的预测拥有很高的准确率，其他没有做出准确预测的真实或虚构的专家则不为人知。虽然迪格勒做了很多正确的预测，可一旦脱离了这些结果所具有的讽刺意味，它们也就没有了任何意义。

所谓的专家和媒体学者的预测已经被广泛研究，并与简单的统计模型进行了比较。宾夕法尼亚大学沃顿商学院的心理学教授菲利普·泰特洛克（PhilipTetlock）在20世纪90年代和21世纪前十年的大部分时间里都在研究专家预测的准确性。他用一句话总结了这一时期让人无比震惊的研究结果：“一般专家预测的准确率就和一只猩猩扔中飞镖的概率相差无几”。从长远来看，像卡尔·迪格勒这样靠直觉预测的人，其表现不会超过用抛硬币成功预测的概率。其他可能像维吉尔·德克萨斯那样在预测之前仔细研究数据的人，其表现或许和简单的统计算法[例如“跟上最近的变化”（follow the recent rate of change）或者“现在谁领先就预测谁赢”]相去不远。

第二部分 算制我我们的情绪和行为吗？

85

不管是卡尔还是维吉尔都无法成为FiveThirtyEight算法真正的挑战者。“专家”通常预测失败这一点并不意味着菲利普·泰特洛克的研究抵达了终点。他在此之后观察了一个小群体，他们对政治、经济和社会事件都做出了相当准确的预测。菲利普把这些人称为“超级预言家”，而且他发现了越来越多这样的人。他们来自各行各业，但有一个共同点：他们对各种信息进行汇总并赋予权重，以便逐渐提高他们预测未来事件的准确性。这些超级预言家会根据最新信息谨慎地调整他们的预测。作为人类的他们运用概率推理，在头脑中建立钟形曲线。

在2016年的总统大选中，这些超级预言家也都行动了起来。作为群体，他们的准确性不过和FiveThirtyEight打成平手。所有这些超级预言家预测特朗普获胜的平均概率为 24%，而FiveThirtyEight预测这一概率为28%，卡尔·迪格勒预测希拉里100%获胜。虽然内特·希尔弗和超级预言家们“两头下注”，但他们无疑是对的。

超级预言家们没有对美国各州进行单独的预测，因此很难将他们的预测和FiveThirtyEight的预测进行彻底的比较。因此，我决定和研究小组成员亚历克斯·斯佐科夫斯基（Alex Szorkovszky）探究一下人类的预测方法在全部50个州的表现如何。

PredictIt是新西兰惠灵顿维多利亚大学（Victoria University inWellinton）运营的一个在线市场。它允许其成员对政治事件的结果押上小赌注，比如“哪个政党会在2016年的总统大选中获胜？”或者“从7月6日中午至7月13日中午唐纳德·特朗普的推特中有多少条会提到CNN？”各种预测直接在用户之间进行交易，价格反映的是事件发生的概率。例如，“特朗普会在那周发布超过5次的关于CNN的推文”这一预测被市场定出40美分的价格，而且我相信他会在推特上发布6条或更多推文的概率超过41%，那么我就可以买进这个选项了。如果特朗普发了超过5条关于CNN的推文，我的投资就为我进账1美元。如果他只发了5条或更少的推文，我的投资就打了水漂。

被算法操控的生活OUTNUMBERED

86

“PredictIt”市场允许其用户进行概率交易。没有人能保证所有的用户都能像超级预言家们一样聪明，但是那些不仔细考虑事件发生概率的人很快就会亏钱。与受金融利润驱使的博彩公司不同，该网站并没有竭力鼓励失败者继续投注或者禁止赢家多玩。他们的目的是让最好的预测者相互竞技。“PredictIt”算法给那些做出好预测的人支付报酬，并给那些做得不好的人一点惩罚。这是一种聚集群众智慧的非常简单的方式。

在《华盛顿邮报》的一篇文章里，维吉尔·德克萨斯指责FiveThirtyEight做出了不能被证伪的预测。他称类似“希拉里有95%的概率赢得民主党初选”这种判断是“无法验证的论断”。这种指责放在任何一场选举中都是对的，因为你没有办法以完全相同的方式将2016年的英国脱欧公投或美国总统大选重演一次。但是，当你像FiveThirtyEight一样在多年中为美国各州众多不同的选举进行预测，那么这种批评就是错误的，因为概率预测是可以被验证的。当FiveThirtyEight 宣称它95%确定10件事情会发生，但结果只有不到一半的事件发生时，那么我们很可能会质疑它的方法。如果其中9件甚至10件事情发生了，那么我们更乐意认同其方法的合理性。

你的预测越大胆，它的质量就越高衡量预测质量的一个好办法是根据“大胆”程度把它们分组，然后比较预测结果在实际发生中所占的比例。图 8.3 是 FiveThirtyEight 和预测市场 Intrade 及 PredictIt 的结果。图的最左端和最右端是大胆的预测，代表民主党候选人将以95%以上的概率赢得或者输掉某个州的选举。FiveThirtyEight和在线市场做出的全部大胆预测都被证实是对的：热门候选人赢下该州选举。

第二部分

算法想控制我们网络能够影响我们的情绪和行为吗？

87

确定性在 5%到95%之间的是“胆小”的预测，如图8.3(a)和8.3(b)的中部所示。这些预测的质量可以通过它们与虚线的距离来衡量。在这条线上方的圆圈表示这种预测明显低估了民主党的获胜机会，而位于这条线下方的圆圈则表示这种预测高估了民主党的获胜机会。在2016年，预测市场和FiveThirtyEight都有一种非常轻微的倾向，在共和党占优势的州中他们会高估民主党获胜的机会。这种趋势在统计学上并不显著，并且可以合理地归因于偶然性。

被算法操控的生活OUTNUMBERED

88

预测的质量也可以用“胆大”和“胆小”的预测数量来衡量。如果我在第二次世界大战之后的每一次总统选举之前都宣布，民主党获胜的可能性是50%，那么我一半的预测都是正确的，因为正好大约一半的总统是民主党人。但应该没有人会因为我把每次选举都看作一次猜正反面的抛硬币游戏，而称我为天才。

图8.3中圆圈的大小与每种预测的数量成正比。因此，FiveThirtyEight预测图的底部和顶部大圆圈说明，他们做出了更多的“大胆”预测，而不是位于中间的“胆小”预测。而预测市场则稍微不那么“大胆”，尤其是在碰上热门候选人的时候。这可能是由赌博中所称的“冷门偏差”(longshotbias）所致，总有人会对一件不太可能发生的事情下个很小的注，幻想以小博大。这些人几乎总是（概率大于1/20）输钱。

通过计算布莱尔分数（Brier score）①，我和同事亚历克斯发现，在过去的三个选举年中，模型和大众对各州的预测水平相差无几。2012年的大选中，FiveThirtyEight的表现略好于预测市场，当时它做出了一个非常大胆的预测，认为奥巴马是一个明显的热门人选。PredictIt上的能人异士和FiveThirtyEight的模型在2016年总统选举的预测上平分秋色。双方针对绝大多数州给出了相似的判断，同时双方在对特朗普的预测上也不像媒体说的那样错得离谱。

卡尔·迪格勒和他的直觉预测排在第三位，但他的布莱尔分数与前两名的差距不如我想象得那么大。预测2016年各州选举结果的时候，卡尔的布莱尔分数为 0.084，FiveThirtyEight为 0.075,PredictIt 则为 0.070（布莱尔分数越低越好)。在此，我不得不夸赞一下维吉尔·德克萨斯，他并非像菲利普·泰特洛克研究中的投飞镖的黑猩猩那样，是一个差劲的“专家”。

不过 PredictIt 和 FiveThirtyEight的比较存在一个问题。虽然它们都做出较为合理的预测，但这些预测并不是相互独立的。

第二部分 算法想控制我们们的情绪和行为吗？

①布莱尔分数是衡量概率校准的一个参数。

89