被算法操控的生活：重新定义精准广告、大数据和AI

如果我们仔细看这两家的预测随时间如何变化，就能够发现它们非常接近彼此（如图 8.4 所示)。部分原因是 PredictIt 在盗用 FiveThirtyEight的成果。事实上，在“超级预言家”论坛的讨论中，最常见的信息来源正是内特·希尔弗的网站。然而，预测市场的关键就在于它把不同的信息整合在一起，并根据其质量进行权衡取舍。因此，尽管我们可以说 FiveThirtyEight 的信息是高质量的，但FiveThirtyEight 不太可能是PredictIt唯一的信息来源。当然，我们也没有证据表明，PredictIt的预测是跟在 FiveThirtyEight 后面变化的。

不考虑市场的模型不是好算法

FiveThirtyEight在其模型中没有堂而皇之地使用博彩市场数据，然而作为曾经的职业赌徒，希尔弗对预测市场和博彩公司了如指掌：它们给出的赔率往往比民意调查本身更能反映事件发生的概率。他可以看到，市场并不十分确定希拉里会获胜。《纽约时报》和《赫芬顿邮报》的其他一些模型则完全依赖于民意调香数据，它们预测民主党候选人的胜算分别为91%和 99%，但 FiveThirtyEight 团队对民意调查数据进行了调整以反映结果的不确定性，使其更接近市场赔率。

被算法操控的生活UUTNUMBERED

90

尽管这种调整被证明是合理的，而且它也帮助希尔弗在预测选举时比竞争对手犯下更少错误，但是这种微调引发了一个涉及算法基础的问题。前FiveThirtyEight作家莫娜·沙拉比（Mona Chalabi）告诉我，在他们的新闻编辑室里，希尔弗的团队会使用“我们必须格外小心”这样的短语来表达一种共识，即他们的模型不应该对希拉里做出胜算过大的预测。他们意识到，选举之后人们像往常以非黑即白的形式评价预测那样来评判他们：他们要么是赢家，要么是输家。

莫娜现在是《卫报》美国分部的数据编辑，她告诉我：“FiveThirtyEight以及所有选举预测的终极缺陷，都是相信有一种方法可以纠正民意调查中的所有弊端。很抱歉，事实上没有这种方法。”学术研究表明，民意调查通常不如预测市场准确。因此，FiveThirtyEight必须找到一种提高其预测能力的方法。严谨的统计方法没有办法进行这些改进，只能更多地依赖建模者的个人能力去解读哪些因素在选举中可能是重要的。这就是数据炼金术：以对竞选中发生的事情的直觉为基础，将统计数据与民意调查结合起来。

当我和她交谈时，莫娜强调一点：“民意调查是预测的根本基础，而民意调查本身会出错。但是如果你拿掉民意调查，他们还怎么预测选举呢？”

FiveThirtyEight是一个几乎完全由白人占据的新闻编辑室，主要由美国的男性民主党人组成。他们学习过同样的统计学课程，并且有着相同的世界观。这种背景和训练意味着他们对选民的想法了解甚少。他们不与人直接交谈，不了解选举中涉及人类直觉和情感，因为他们认为这种方法不客观。莫娜对我说，她的同事们在这里根据各自数学工具的先进程度来评价彼此。他们认为统计结果的质量和沟通这些结果是否便利存在此消彼长的关系。

第二部分

算法想控制我们网络能够影响我们的情绪和行为吗？

91

如果FiveThirtyEight提供的是一个纯粹的统计模型，那么这些统计学家的社会经济背景就不重要了。但他们提供的并不是一个纯粹的统计模型，因为纯粹的统计模型会严重偏向希拉里，而他们的工作是将预测者的技能和潜在的数字相结合。由具有相同背景和想法的人组成的团队通常不太可能胜任困难任务，比如学术研究和成功的商业运作，因为这些人很难穷尽与预测未来有关的所有复杂因素。

我不知道希尔弗和他的团队如何能在长时间里胜过高效运作着的PredictIt。我自己并没有试着去预测选举结果，但我在足球上下了一些赌注（当然，出于纯粹的科研目的)。赌博界盛传一个关于数学天才的都市传说，这个人可以称之为赌博界的内特·希尔弗，因为他想出了打败庄家的方程式。传闻说，如果你得到了这个人所提供的诀窍，也就是那个神奇的方程式，你就会富有得做梦都想不到。

这个传闻纯粹是一个神话，因为不存在能预测体育赛事结果的方程式。在足球比赛中获利的唯一方法是将博彩公司提供的赔率纳入你的数学模型。这就是我在上一本书《足球数学》中所做的，即创建一个赌博模型。我用赔率中的统计规律来找到赔率设定中一个很小但很显著的偏差，然后通过设定赔率及利用这个偏差赚钱。足球的建模过程涉及数学，如果一个赌徒认为他可以在不考虑赌博界现有群体智慧的情况下打败市场，他最终一定会输。

同样的，“赌场都不进，你怎么赢”的逻辑也适用于希尔弗的研究。他承认，他的体育比赛预测模型并不优于赌马经纪人的赔率。赌马的人会将FiveThirtyEight的预测和其他相关信息纳入市场价格中考虑，这样一来他们总是比一个人单打独斗有优势，不管这个人多么聪明。莫娜在FiveThirtyEight的经历教给了她很多东西，但并非是她开始工作时所想象的事情。她踏入这个行业的目的是精进自己在数据新闻方面的技能，但后来她发现FiveThirtyEight所具备的精确性只不过是一种错觉。正是莫娜让我注意到FiveThirtyEight预测的数字带有小数点。对我而言71.8%就是个数字，但我忘记了它们还代表着精确度。在学校的科学课上，我们学习使用可以反映精确性的有效数字来表示数量，比如，如果我们知道有10袋沙子的重量在12.6千克到13.3千克之间，我们就可以说一袋沙子重13千克。所有的民意调查都有至少三个百分点的误差，而且通常会更多。这种误差意味着，选举预测概率最多应该只包含一个有效数字，例如70%，而小数点后的任何数字都是误导。

被算法操控的生活NUMBFRE

92

不管他们对高等数学的掌握如何娴熟，FiveThirtyEight在估算时还是犯了低级错误。如果你或者他们想对此了解更多，我极力推荐BBC的网站 Bitesize。

莫娜最近成为了《卫报》美国分部的数据编辑，她在这份工作中非常充分地考虑到了这一点。在呈现数据时，她只划分了少量的类别，并强调这些数值的不确定性。她专注于数据的排序，而非简单依赖这些数字，并且数据从来不含小数点后面的部分。她最打动我的一张图是并排画着的一个停车位和一间单独监禁犯人的牢房，我记不太清楚它们各自到底有多大，但牢房的面积要比停车位的面积小很多。

在我和莫娜交谈之前，说实话，我把研究FiveThirtyEight看做是一场游戏。将模型与市场进行比较再观察到底哪个会赢，在我看来是一件有趣的事情。但我陷入了和内特·希尔弗一样的陷阱。我忘记了美国总统选举的结果对许多人的生活来说至关重要。莫娜告诉我，真正的危险在于FiveThirtyEight可能会影响选民的行为。在选举日访问该网站的数百万人并没有仔细研究内特的模型从而了解它的工作原理。他们都只关注有关希拉里和特朗普的两个数字，并且得出结论，希拉里将会胜出。

我们之所以会在内特·希尔弗这样的数据专家面前束手无策，是因为我们笃信他们会得出比我们更好的答案。但其实他们并没有做到这一点。他们或许能够做得比扔飞镖的黑猩猩好一些，并且能打败像卡尔·迪格勒这样的（所谓）“专家”，但绝对战胜不了我们的集体智慧。如果你有兴趣了解建立模型的门道，我极力推荐FiveThirtyEight的网页。如果你只是想了解新闻头条上关于下一场选举的预测数字，就没有必要浪费时间了，去看庄家的赔率就够了。

第二部分 算法想控制我我们的情绪和行为吗？

93

莫娜强调给不同的结果进行大致分类，这一点启发了我。在此，我有义务用一种简单易懂的方式给所有的模型预测提个醒，模型预测再怎么高深莫测，大抵也不过出现三种表现结果：

1. 胡猜：这些预测不比扔飞镖的黑猩猩强；

1. 差强人意：这些预测不比收入极低的“机械土耳其人”强；

1. 中间水平：这些预测不比庄家的赔率强。

这三种结果覆盖了大多数数学模型的表现，我们用它们来预测各种时间尺度下与人相关的一切事件，从一天、一个星期到一个月，从体育、政治到明星八卦和金融。如果你知道有以上三条规则没有涵盖的例外情况，请告诉我，我肯定把我的赌注都压在你的模型上。

被算法操控的生活OUTNUMBERED

94

第9章|互联网本质：“大家也喜欢”

与我之前研究过的算法不同，FiveThirtyEight和PredictIt的算法不仅对我们进行分类，还与我们互动。FiveThirtyEight的模型还会影响我们。不过，正如莫娜·查拉比怀疑的那样，虽然我们很难知道它是否影响了人们的投票选择，但它肯定影响了美国人对即将到来的选举的感受。

从我们打开电脑或手机的那一刻起，我们与算法的互动就开始了。谷歌依据其他人的选择以及不同页面之间的链接数量，来决定向我们展示什么样的搜索结果；脸书借助我们朋友的推荐来决定我们将看到什么样的新闻；Reddit①让我们“顶”或“踩”名流八卦；领英建议我们在专业领域应该认识哪些人；Netflix和声田深入研究了用户的电影和音乐偏好，为我们提供观影和收听建议。

这些算法都建立在同一个理念上：我们可以基于他人的推荐和决定来学习。

我们现在所处的世界果真如此吗？算法与我们在线互动，但它真的在为我们提供最好的信息吗？

第二部分 算法想控制我我们的情绪和行为吗？

①Reddit是一个社交新闻站点和在线社区，用户可以浏览并提交网络内容的链接或发布自已的原创帖子。其他用户可对发布的链接进行高低分投票及评论。

95

亚马逊推荐：“私人定制”的秘密

亚马逊网站的创始人杰夫·贝索斯（JeffBezos）是第一个认识到我们在浏览网页时只希望看到少量相关选项的人。他的公司使用了“与你浏览过的商品相关的还有”，以及“购买了这一商品的顾客也购买了”的推荐清单，以帮助我们找到心仪的商品。亚马逊从数百万个不同选项中筛选出一小部分供我们选择。“你已经读过《魔鬼经济学》(Freakonomics)了，那你要不要看一下《卧底经济学家》(The Undercover Economist)或者《思考，快与慢》(Thinking, Fast and Slow)？”“你看过乔纳森·弗兰岑（Jonathan Franzen）的最新小说？大多数顾客会接着购买柳原汉雅(Hanya Yanagihara)的《渺小—生》(A Little Life)。”“大家经常—起购买的是凯特·阿特金森（Kate Atkinson)、塞巴斯蒂安·福克斯（SebastianFaulks）和威廉·博伊德（William Boyd)。”“在找《足球数学》？你也可以试着看看《数字游戏》(The Numbers Game)和《英超:战术熔炉》(TheMixer)。”这些建议给人一种你在选择的错觉，但其实这些书会一起出现在你面前完全是拜亚马逊的算法所赐。

这个算法之所以如此有效是因为它了解我们。当我看到那些我最钟爱的作者的书正在被网站推荐时，我觉得这些推荐都正合我意，因为我要么已经拥有了这些书，要么想要得到它们。我刚刚花了两个小时在亚马逊网站上“研究”他们的算法，期间我又选了7件商品放入了我的“购物车”中。这个算法不仅了解我，还了解我的妻子和亲戚。我坐着就完成了我的圣诞节购物。它甚至比我更了解我十几岁的女儿埃莉斯(Elise)：当我查找多迪·克拉克（Dodie Clark)的书《癖好、自白和人生经验》(Obsessions，Confessions and Life Lessons）时，它提示我埃莉斯可能也会喜欢约翰·格林(John Green)的《乌龟—路走来》(Turtles All the Way Down)。我相信她会的。

被算法操控的生活DUTAMBERED

96

当我读小说的时候，我听到别人在用我自己的声音将故事娓娓道来。这是一种非常私人的体验，是我和作者之间的特殊联系。当我深陷一部好小说的时候，我相信其他人与我交流的方式都不会与这位作家一样。

但在亚马逊上逛了几个小时后，这个错觉彻底烟消云散。这个算法的建构基于这样一个事实：和我喜欢同一类书的其他人已经做出了我可能做的选择。为了对其1000多万种产品进行分类，亚马逊在每个客户同时购买的产品之间建立了关联。这些关联是他们给我们建议的基础，虽然简单却非常有效。在亚马逊的客户群中，有很多像我、我的孩子、我的朋友这样的人。原来，加利福尼亚州一小群研究人员开发一个算法，就可以轻松地为我“定制”一个推荐员，免费向我推荐商品、提供信息，如果我下订单购买，第二天这些商品就能送达。

我没有权限了解亚马逊当前算法的构建细节，这些秘密由亚马逊的子公司、专业的产品搜索公司A9保守。该算法随着时间的推移而改变，也随着不同的产品而改变，因此不再存在一个单一的亚马逊算法。不过，在亚马逊算法背后以及我们如何与其互动上，我们都能找到基本原理，并且可以通过数学模型来体现。

为了向亚马逊致敬，我将这个模型称为“大家也喜欢”(alsoliked)现在我会介绍相关的步骤。在我的模型中，作者的数量是固定的。我将使用25位大众科学和数学图书的作者的名字，因为选择大众熟知的人会增加乐趣，但名字不会影响模型的结果。一开始，我假设此前没有发生任何选购行为，因此当第一个顾客随机购买两本书时，任何一位作者被选中的机会都是一样的。

接下来，模型里的顾客进行一人一次的购买活动。每个顾客都更有可能选择此前被一起购买的作者的书。最初，这种影响相当微弱。但这里有一个基本原理，一位作者的书被购买的概率与此前购买活动的总数加1成正比。这个“加1”规则确保了每本书都有被买的机会。例如，假设第一个顾客买了布赖恩·考克斯（Brian Cox）和亚历克斯·贝洛斯（AlexBellos）的书，那么新顾客购买考克斯或贝洛斯的概率都是2/27，而购买其他作者的概率则是1/27。

第二部分 算法能制我我们的情绪和行为吗？

97

在图9.1(a）中，我在“大家也喜欢”模型中模拟了前20个购买行为。两个作者之间的直线表明某个顾客共同购买了他们两人的书。第一个顾客对考克斯的随机选择带动售出了4名作者的书：伊恩·斯图尔特（Ian

图9.1“大家也喜欢”模型图书销售模拟网络图（a）表示销售20本图书后的情况；(b）表示销售达到500本图书时的情况。直线代表两位作者的书同时被顾客购买的次数，线条越粗、越黑就表明同时购买的次数越多。圆圈的大小与每一位作者的总销量成正比

被算法操控的生活OUTNUMBERED

98

Stewart）的书卖出了4本，理查德·道金斯（Richard Dawkins）和菲利普·鲍尔（PhilipBall）的书各卖出了三本。在这个阶段，我们还不清楚哪一个作者最受欢迎。

卖出500本书之后，情况就大不一样了。图9.1(b)显示，斯蒂芬·平克（Steven Pinker）是目前为止最受欢迎的作家，与丹尼尔·卡尼曼(Daniel Kahneman)、苏珊·格林菲尔德（Susan Greenfield）和菲利普·鲍尔关联密切，后三者的销售也很好。理查德·道金斯和布赖恩·考克斯已经落后了，其他几位优秀作家也表现平平。

在这次模拟中，有些人跻身畅销书作者，他们获得的关联越来越多，其他作者则变得默默无闻。前五名作者的总销量大概与其他20名作者的总销量持平。

对于作者来说，这就是“大家也喜欢”算法的潜在危险。这个模型中的顾客不考虑书的质量，他们根据算法提供给他们的链接购买书籍。这就意味着两位同样优秀的作者出售的图书数量可能会走向两个极端，其中一本会成为畅销书，而另一本则销量惨淡。即使所有书质量一样，有些书会占据大量市场，有些书则白送都没有人要。

南加州大学信息科学中心的研究员克里斯蒂娜·莱尔曼（KristinaLerman）告诉我，我们的大脑钟情于“大家也喜欢”。她用一个经验法则来模拟我们的上网行为。她告诉我：“只要你把握住了人们很懒这个规律，你就能够预测他们的大部分行为。

克里斯蒂娜的结论是在她研究了各种各样的网站后得出的，包括脸书和推特这样的社交网络，以及像 Stack Exchange这样的编程网站、雅虎在线购物、谷歌学术（Google Scholar）之类的学术网站和一些在线新闻网站。当我们看到一份新闻文章的列表时，我们更愿意阅读那些顶部的文章。在对编程问题回答网站 Stack Exchange的研究中，克里斯蒂娜发现，只要它越靠近页面顶端、所占空间越大(不一定指单词数量)，人们就越容易接受它，但这个答案的质量如何，人们不会非常关注。克里斯蒂娜告诉我：“这些网站上展示的选项越多，人们真正去看的选项就越少。”当我们看到太多的信息时，我们的大脑会认为最好的办法就是忽略它们。

第二部分 算控制我我们的情绪和行为吗？

99