被算法操控的生活：重新定义精准广告、大数据和AI

按照史蒂夫及其同事在他们的文章中提出的对研究结果的使用方法，上述情景的发生并非遥不可及。他们写道，寻找班克西“证明了以前的想法是可行的对涉及恐怖主义的轻微行为（比如涂鸦）进行分析，可以帮助我们锁定恐怖分子基地，将恐怖行动扼杀在摇篮之中”。数学武器一朝在手，穆斯林班克西被指控、定罪。过去在间接证据里都非常弱的统计数据现在却成了强有力的实证。

然而，潘多拉的盒子这才刚刚打开。在成功找出穆斯林班克西后，私营企业会争先恐后地与警方签订合同，为其提供基于统计数据的建议。在获得首个合同后，谷歌会将警方的全部记录输入“DeepMind”（深度思维)，以便找出潜在的恐怖分子。若干年后，政府将在公众的支持下引进“常识”措施，把我们的网页搜索数据和谷歌的警方记录数据库进行整合，“人工智能警官”就能够这样被创造出来。它们会通过我们的搜索和浏览数据推断我们的动机和未来行为。每个“人工智能警官”会配备一个行动小组，以便他们在深夜对潜在的恐怖分子发起突袭。这种黑暗的数学未来正以骇人的速度接近你我。

在展开长篇大论之前，我们就已经察觉到数学不仅会大煞风景，还会侵蚀我们的道德品质。它在给花边小报的流言蜚语提供合法性，它在诬告伯明翰公民进行恐怖活动，它还在帮助大量不负责任的公司积累海量的数据，建立超级大脑，监视我们的行为。这些问题到底有多严重？这些场景到底有多现实？为了找出答案，除了应用我唯一掌握的方法之外，我别无选择。这个方法就是审视数据，统计数据，并且进行数学运算。

被算法操控的生活TNUMBERED

10

第2章|算法无处不在，我们却对它一无所知

从数学解密班克西身份的文章中回过神来之后，我意识到此前我对算法给社会带来的改变会产生多大规模认识不足。但我需要说明，我并没有错过数学的发展。机器学习、统计模型、人工智能都是我的研究范畴，也是我和同事们日常交流的话题。我阅读最新的文章，紧跟学科的各项重大突破。但我关注的是事物的科学一面，研究抽象的算法如何工作。之前我没有严肃地去考虑这些算法应用有可能带来的后果，也没有想过我开发的工具正在如何改变这个社会。

黑箱操控——互联网巨头不想说的事

我不是唯一意识到这个问题的数学家，而且跟我对班克西身份被解密的杞人忧天比起来，我的一些同行发现了真正值得担忧的事情。2016年末，数学家凯西·奥尼尔（CathyO'Neil）出版了她的书《算法霸权》(Weapons of Math Destruction)，书中阐述了我们对算法无处不在的滥用，从评估老师的教学成果、在线推销大学课程，到提供民间信贷、预测回到社会的犯人再次犯罪的可能性。她的结论有些让人毛骨悚然：算法随心所欲地做出与我们有关的决定，根据的仅仅是一些可疑的假设和不准确的数据。

第一部分 算在监我数据做了什么？

11

一年之前，马里兰大学法学教授法兰克·帕斯夸里（Frank Pasquale）出版了他的书《黑箱社会》(The Black Box Society)。他认为，一方面，我们的私人生活在逐渐公开化。我们在线分享我们的生活方式、我们的抱负、我们的行为举止和我们的在线社交。而另一方面，却没有人监督华尔街和硅谷公司用来分析我们的工具。黑箱影响着我们看到的信息、做着关于我们的种种决定，而这些算法的运作方式我们却无从知晓。

在网上，我发现了一个由数据科学工作者组成的非官方组织。他们直面这些挑战，分析算法在社会中的应用方式。

这些活动家最关注数据的透明性和潜在的偏见。当你上网时，谷歌会收集你浏览过的网站信息，并用这些数据来决定给你推送什么广告。如果搜索“西班牙”，过几天你就会收到吸引你去那里度假的广告；如果搜索“足球”，那么你将开始在自己的电脑屏幕上看到越来越多的博彩网址。而如果你在搜索引擎中输入“黑箱算法的危险”，那么你会被跳转到订购《纽约时报》(New York Times）的链接。

随着时间的推移，谷歌会建立一幅你的兴趣全景图，并对它们进行分类。通过谷歌账户上的“广告设置”页面，你可以很容易地发现它是怎么推断出这么多关于你的信息的。当我打开这些设置的时候，我发现谷歌对我确实有所了解：足球、政治、在线社区和户外运动都被正确地定义为我喜欢的东西。但是谷歌推送的其他一些话题就没那么准确了：它认为我喜欢橄榄球和骑自行车，但我对这两项运动并没有真正的兴趣。我觉得我必须改正它，于是在广告设置中勾选了我不想知道的运动，然后把我真正喜欢的话题——数学添加到列表中。

在美国宾夕法尼亚州的卡耐基·梅隆大学（Carnegie Mellon Universityof Pennsylvania)，阿密特·达塔（Amit Datta）博士和他的同事们进行了一系列实验，以精确评估谷歌如何对我们进行分类。他们设计了一个自动化工具，它可以创建谷歌的“代理”，让它们打开预先设置的网页。然后，这些代理会访问与特定主题相关的网站，研究人员随后可以查看谷歌给代理显示的广告和广告设置中的变化。当代理们浏览与药物滥用有关的网站时，谷歌会向它们展示戒毒中心的广告。类似地，浏览与残疾相关网站的代理更有可能被展示轮椅广告。不过，谷歌对我们并不完全诚实。在任何情况下，谷歌都不会更新这些代理的广告设置，也不会告诉这些代理谷歌的算法对它们得出的结论。即使我们使用我们的设置，告诉谷歌我们希望被展示和不被展示哪些广告，它也会自作主张地决定向我们展示什么。

被算法操控的生活CUTUMBERED

12

一些读者如果知道谷歌并没有改变其展示给浏览成人网站的代理的广告，他们可能会很有兴趣。当我问阿密特，这是否意味着用户可以无所顾忌地搜索色情内容，而不增加其他时候在屏幕上弹出色情广告的可能性时，他建议还是小心为上：“谷歌可能会在我们没有浏览过的其他网站上改变广告。因此，少儿不宜的谷歌广告可能会在你浏览其他网站时弹出。

包括谷歌、雅虎、脸书、微软和苹果在内的所有互联网巨头都会对我们的兴趣进行消费者画像，并利用这些信息来决定展示给我们什么广告。这些服务在一定程度上是透明的，允许用户查看他们的设置。虽然这些公司向我们了解他们是否正确理解了我们的品味，是对他们有利的，但他们绝对没有将他们对我们的全部了解和盘托出。

给重定向广告加点“噪声”

安吉拉·古拉马塔斯（Angela Grammatas）是一名市场分析程序员，她强调说目前重定向广告极其高效。重定向广告是一个技术术语，指的是采用搜索历史来决定展示给用户何种产品的在线广告。她告诉我，金宝汤(Campbell)公司①的 SoupTube 宣传活动采用了谷歌的沃冈系统，向用户展示同一个广告中最符合他们兴趣的一个版本，也就是说不同用户会看到不同版本的广告。谷歌表示，这个宣传活动将销售额提升了55%。

第一部分

算法在监视我们互联网对个人数据做了什么？

13

安吉拉对我说，谷歌的手段还算温和，相比之下，脸书点赞按钮的广告定向能力则蛮横得有些吓人，你的点赞行为透露了你很多个人信息。最令安吉拉担心的是美国更改了一项法律，容许互联网服务提供商(ISPs)，也就是为你的家庭提供网络的电讯公司，存储和使用客户的搜索历史记录。

与谷歌和脸书不同，互联网服务提供商几乎不会公开他们所收集的信息。互联网服务提供商可能会将你的浏览历史记录与你的家庭住址联系起来，并与第三方广告商分享你的数据。

安吉拉对这项法律的更改忧心忡忡，因此创建了一个网络浏览器插件，以防止互联网服务提供商或其他任何人收集他们用户的有用数据。她称这个插件为“噪声”。顾名思义，它的作用就是产生浏览噪声。当她浏览她喜欢的网站时，“噪声”就会在后台工作并随机浏览排名前40位的新闻网站。如此一来，互联网服务提供商就没有办法知道安吉拉对哪些网站感兴趣，对哪些网站不感兴趣。使用了这个插件之后，她的浏览器中显示的广告发生了明显的变化。“突然间，我看到了铺天盖地的福克斯新闻(FoxNews）的广告……”她告诉我，“这与之前自由派媒体的过滤气泡’简直是两个世界。”安吉拉婚姻幸福美满，却收到了大量的结婚礼服广告。“噪声”让她的浏览器再也不知道她是谁了。

我发现安吉拉的做法非常有趣。对于公司如何使用我们的数据，她的态度其实很分裂。安吉拉的日常工作是制作有效的重定向广告，而且她显然非常擅长自己的专业工作，并确信她是在帮助人们找到他们想要的产品。但在业余时间，她却创建了一个插件，屏蔽掉了这些定向广告，并将这个插件免费提供给任何想要使用它的人。“如果我们都使用噪声’，

被算法操控的生活JUNUMBI

①金汤宝公司是美国的一家创办于1869年的首屈一指的罐头汤生产商。

14

她在插件的网页上写道，“公司和各种利益团体就失去了透视我们的能力。
她告诉我，她这么做是为了增加人们对在线广告运作方式的认识和讨论。

尽管安吉拉的做法看起来很矛盾，但我多少可以理解这一行为背后的逻辑。毫无疑问，许多不易察觉的歧视现象需要我们去发现并加以制止，一些关于短期借贷和野鸡大学文凭的定向广告也确实不合道德，而且我们的网页浏览器有时还会对我们做出一些奇怪的判断。但是通常情况下，重定向广告的效果还是相对较好的，我们大多数人并不介意收到一些我们可能感兴趣的产品的广告。在向我们介绍现代广告的运作方式这一点上，安吉拉做得很对。而认识向我们推销产品的算法并确保互联网服务供应商尊重我们的权利，则是我们自己的责任了。

算法也会歧视人

算法得出的结论也可能是歧视性的。为了调查性别偏见，阿密特和他的同事们让500名“男性”代理(它们的性别设定为男性)和500名“女性”代理浏览一组预先设定好的与工作相关的网站。上网结束之后，研究人员查看了浏览器向代理展示的广告。尽管浏览历史记录相似，但“男性”代理更有可能被展示来自careerchange.com 网站上的一则特定广告，标题是“年薪20万以上的工作——仅限高管”。“女性”代理则更有可能被展示一般招聘网站的广告。这类歧视明目张胆，而且可能违反了法律。

运营careerchange.com网站的公司总裁华夫勒斯·皮·纳图斯(Waffles Pi Natusch)告诉《匹兹堡邮报》(Pittsburgh Post-Gazette)，他不清楚广告为什么会严重地偏向男性，但承认公司的一些广告偏好（有高管经验、年纪45岁以上、年薪10万美元以上）可能导致谷歌的算法朝这个方向发展。这个解释很奇怪，因为参与实验的代理除了性别不一样，薪水和年龄并无不同。所以答案要么是谷歌的广告算法直接或间接地将男性和高管高薪关联，要么就是 careerchange.com网站无意中勾选了将广告锁定男性的选项。

第一部分

算法在监视我们互联网对个人数据做了什么？

15

阿密特和同事们的调查到这里结束了。他告诉我，到了他们发布研究论文的时候谷歌还没有回应。但这家网络巨头改变了它的界面，阿密特和他的同事们再也无法进行代理实验了。黑箱被永远地关上了。

在过去的两年里，来自非营利性新闻编辑室ProPublica①的朱莉娅·安格温（Julia Angwin）和她的同事们在一系列关于算法偏见的文章中揭露了大量的黑箱现象。综合从佛罗里达州的7000多名刑事被告身上收集到的数据后，朱莉娅证明，美国司法系统广泛使用的一种算法对非裔美国人持有偏见。即便该算法已经将罪犯的年龄、性别、犯罪史和未来的犯罪行为一并考虑在内，他们仍然发现这一算法将非裔美国人划分到高风险犯罪类别的可能性要高出其他族裔45%。

这样的歧视并不仅限于司法系统。在ProPublica的另一项研究中，朱莉娅在脸书上投放了一则广告，目标是“首次购房者”和“可能搬家的人”但与“非裔美国人”“亚裔美国人”或“拉美裔”具有“种族相似性”(ethnicaffinity）的人则被排除在外。尽管这则广告违反了美国的《公平住房法》(Fair House Act)，但脸书还是接受并发布了它。将某些群体排除在外，即使基于他们的“种族相似性”（脸书通过查着用户浏览的页面和参与互动的帖子来衡量）而不是他们实际所属的种族，也是一种歧视。

许多数据新闻记者（datajournalists）②和科学家们参与到调查这些问题的运动中，ProPublica的记者只是其中一分子。麻省理工学院（MIT）研究生乔伊·波拉姆维尼（JoyBuolamwini）发现现代面部识别技术无法识别她的脸，所以她开始收集更加种族多样化的面孔数据，用以训练和提升未来的识别系统；北卡罗来纳卡罗来纳伊隆大学的乔纳森·奥尔布赖特（Jonathan Albright）在调查谷歌的搜索引擎使用的数据，试图理解为什么它的自动完成建议（Autocomplete）①经常给出带有种族主义和冒犯意味的结果；加利福尼亚州伯克利大学的詹娜·伯勒尔（Jenna Burrell）对自己电子邮箱中的垃圾邮件过滤器进行了逆向工程，以确定它是否明确歧视尼日利亚人（在本次调查中它并没有歧视尼日利亚人）。

被算法操控的生活

①ProPublica是一家针对美国社会公共兴趣进行调查报道的独立非营利机构。

②数据新闻指的是用计算机辅助的新闻报道。在数据新闻中，观点通常有数据支撑，以数据可视化的形式来展示。

16

这些研究人员和安吉拉·古拉马塔斯、阿密特·达塔、凯西·奥尼尔以及其他很多人一道，在坚定不移地监督网络巨头和安保产业所开发的算法。他们在线上资源库中公开分享他们的数据和代码，如此一来其他人就可以下载并了解他们是如何工作的。他们中的许多人在业余时间进行研究，利用他们作为程序员、学者和统计学家的专长来了解算法如何重塑世界。

对算法进行解析或许不如街头巷尾的班克西作品那样广受人们喜爱，但这些活动家努力工作并将研究成果与大众共享，比谷歌伦敦总部的短视及其研究小组的故作神秘给我留下了更加深刻的印象。

这个运动的效果立竿见影。脸书做出了一些改变，不再接受类似朱莉娅·安格温投放的那些广告。在《卫报》发表了一篇揭露算法偏见的文章之后，谷歌改进了自动完成建议，不再提供涉及反犹主义、性别歧视或种族主义的搜索建议。尽管阿密特·达塔的工作没有从谷歌得到积极的回应，但他已经和微软达成协议，帮助微软找到在线招聘广告中存在的歧视。实干正在带来变化。

第一部分 算在监视我 据做了什么？

①自动完成建议也称为自动补全搜索建议，这个功能可以根据用户的输入值对网站进行搜索和过滤，让用户迅速地从预设值列表中选择。

17

第3章你以为自己了解朋友？脸书比你更懂他们

我可能不是正统的活动家，我是一名应用数学教授，供职于科研机构。作为英国的一名中产阶级、两个孩子的中年父亲，早年间我为了逃离祖国的政治动荡，来到瑞典寻找平静的生活。我对算法的发展稍有贡献，这也是为什么我被邀请到谷歌演讲的原因。

在每天的工作中，我都通过数学来更好地理解我们的社会行为，解释我们如何互动，并找出这些互动的结果，但我很少为政治问题发声。我不以自己的不作为自豪。和安吉拉·格拉玛塔斯以及像她一样的人交流，让我觉得我的思想被禁锢在了我的笔记本电脑里而置实际问题于不顾。算法的崛起正值欧洲和美国的政局越来越不稳定的时期。这些变化让许多人束手无策。几乎每一则新闻报道，从唐纳德·特朗普（DonaldTrump）在他竞选期间利用政治顾问公司剑桥分析（Cambridge Analytica，简称 CA)①来影响选民，到统计学家对英国脱欧公投预测的失败，这些重大事件无一不牵涉到算法。人们想知道在这些用来评估和影响我们的黑箱里到底发生了什么，而当我听我的朋友谈论或看到他们在推特（Twitter）上讨论这些问题时，我却发现自己无法给他们一个准确的答案。

被算法操控的生活

①剑桥分析公司是一家进行资料勘探及数据分析的私人控股公司。2018年3月以不当方式取得5000万脸书用户数据而闻名。丑闻曝光后客户和供应商大量流失、内外部调查和诉讼费用不断上涨，2018年5月2日剑桥分析公司宣布“立即停止所有营运”，并在英国和美国申请破产。

18

社交网络的黑箱世界

“黑箱”这个词由法兰克·帕斯夸里在他的著作《黑箱社会》提出，ProPublica在其关于算法的系列文章和视频短片《破解黑箱》(Breakingthe Black Box）中也提到了它。它呈现了一个很有冲击力的画面：你输入数据，等待模型处理，得到答案，却看不见里面发生了什么。预测犯过罪的人是否会再次犯罪是由黑箱执行的，脸书和谷歌广告也是通过黑箱生成的，追寻班克西仍是由黑箱来完成的。

以上事实会让我们产生一种无助感，一种我们无法了解算法对我们的数据到底做了什么的感觉。但这种感觉也可能存在误导性，我们可以，并且也应该看看算法内部的情况。就算法而言，我认为我应该有所作为，研究一下我们社会中使用的算法黑箱，看看它们是如何工作的。我可能算不上是一个活动家，但我可以回答人们关于社会变化的一些问题。

说干就干。

我想到安吉拉·格拉玛塔斯告诉过我脸书是最了解我们的网站，所以这家社交媒体巨头是我调查算法如何对我们进行分类的最佳起点。我需要从我自信完全了解的东西开始我自己的社交生活。通过创建朋友的黑箱模型，我应该能够了解在脸书和谷歌工作的数据科学家所采取的分类步骤。我将获得他们使用的技术的第一手经验。虽然我的模型在规模上要小得多，但方法和他们的一样。

安吉拉言之有理，我朋友的脸书页面包含了大量生活信息。我打开我的脸书动态消息，看到一个教授的更新一—脾气暴躁、坐在火车上的

第一部分 算在监我数据做了什么？

19