黑箱社会 控制金钱和信息的数据法则＝THE BLACK BOX SOCIETY

“数据驱动”管理可以确保工作场所实现超高效运营。受监控的程度越高，这项工作就越容易实现自动化操作：如果把员工的每一项工作都详细记录下来，通过这些关键数据，机器人就可以代为执行工作。如果能够精确地了解管理程序如何运行当然最好，可有的老板认为，一旦运行方式公开，员工们就会想办法与系统进行周旋。如果员工们知道带有表情符号的33个字的电子邮件能够获得最高的评分，那么他们可能就会千篇一律地采用这种形式。这就产生了一种新的拉锯情况：在一个新的工作环境中，员工们想知道，并且需要了解获得成功的规则。但管理层却担心，规则公开后就会失去它们的预测价值。

公平、犯规、惊恐

专家声称自动化系统可以对所有人进行同等评估，从而可以避免歧视，并确保一些老板不再基于预感、印象或偏见做出雇用和解雇某人的决定。然而，软件程序的每一个细节都有工程师参与其中。他们通过评分系统建立数据集；他们确立了数据采集分析仪的参数；他们创建了适用的数据集、链接和决策图表；他们生成了适用的预测模型。人为偏见和价值观也可以被嵌进程序开发的每一个步骤。电脑化操作仅仅是将人为歧视推到了上游层面。

第二章

数据失控时代的网络信誉

051

另外，即使运算程序解决了某些领域中的一些问题，它们也在产生着其他的问题。沃顿商学院教授彼得·卡普利(PeterCappelli)认为，公司正在“过度依赖软件来对求职申请进行筛选。有些优秀的人选仅仅是因为简历中缺少某个关键词就被这些程序一票否定”。那些痴迷于匹配和排序程序的公司通常会把程序筛选出来的新雇员看作“紫色松鼠”—该人力资源术语用来形容精确地符合某项工作要求的求职者。但试想，一位负责医疗案件的律师可能完全有能力处理有关区域项目整体协约(ZPIC)的事务，但由于他的简历中没有采用“区域项目整体协约”的缩写形式，而自动软件的搜索目标又恰好设置成了缩写形式，那么她就很可能连面试的机会都无法获得。她也许永远不会知道这个小小的失误就是造成她求职失利的主要或者是唯一的原因。卡普利认为，自动化的简历排序软件对于某些打算寻求好工作的合格求职者来说是一个无法逾越的障碍。

此外，零售商也越来越倾向于使用性格测试软件。在这个失业率居高不下的时代，即使是工资很低的出纳员和仓库保管员的职位竞争都非常激烈。很多公司通过性格测试来确定最佳的工作人选。作家芭芭拉·埃伦赖希(Barbara Ehrenreich)在申请沃尔玛的一份工作时就遇到过这种测试。由于她在“任何时候都必须遵循所有规定”这个问题中选择了“强烈同意”而不是“完全同意”，测试系统没有给她高分。下面是最近出现的一些雇佣测试问题，有四个选项可选：强烈不同意、不同意、同意和强烈同意。

黑箱社会The Black BoxSociety

052

·你喜欢安静的、按部就班的工作。

·别人的感觉不关我的事。

·在现实生活中，你永远有完不成的计划。

·当你无法达到某些要求时会感到紧张。

·当意外状况搅乱你的生活时你会感到非常烦闷。

·在学校里，你是最优秀的学生之一。

·你在空闲的时候更愿意出去而不是待在家里。

你要怎么回答这些问题呢？它们和业务员、经理或咖啡师的职位要求到底有什么关系？我们并不清楚。可由于固有的不确定性，这些测试将会给求职者产生重要影响。处于“绿色分数”范围内的求职者基本上都可以获得面试的机会；而“红色”或“黄色”区域就很可能会被拒之门外了。

在2009年，16%的大型零售市场招聘活动中都使用了这种性格测试，有一位经理比较认同埃伦赖希的观点，认为这些测试是在筛选没有灵魂的谄媚者。她说：“很多获得绿色分数的人只不过是掌握了骗过测试系统的技巧，或者只不过是一些点头称是的人而已。我不相信他们比别人更有能力。”

第二章数据失控时代的网络信誉

053

性格测试的拥护者们辩称，我们没有必要解释某个问卷调查中的答案和业绩表现之间到底有什么关系，我们只要知道它们存在关系即可。它们不是用来评估真正的工作能力，只是雇佣程序的一个步骤，旨在测试一名新雇员的胜任能力。例如，有的公司可能会发现，每一名针对上述问题全选“强烈同意”的求职者都成了优秀员工，而选择“强烈不同意”的求职者都在一两个月之内选择辞职或被解雇。于是人力资源部门很可能就会只雇用那些选择“强烈同意”的求职者，即使他们并不知道这些表态和当前的工作之间有何关联。

不管这些性格测试程序是否对雇主有用，其中存在的不确定性都令求职者感到不安。正确性先放到一边，雇主因何种理由要问“当你无法达到某些要求时会有多紧张”这种问题呢？如果一名雇员能够完美地完成任务，那么他紧不紧张又有什么关系呢？我们希望并且需要知道自己为什么会遭遇某种对待，即使那个理由简单而又直接。由这些问题而得出的“推理”是否应该成为决定人们命运的关键因素？

这些用于挑选和评估雇员的统计方法似乎昭示着某种竞争优势。事实怎样我们无法确定，但很多雇员都会对此感到“恐惧”，他们害怕自己的人生会被这种神秘的、不负责任的计算机程序所主宰。热衷于测试技术的雇主们藐视那些“恐惧”论者，并且遗憾地认为他们缺乏工作所需要的“韧度”。不过这种恐惧感是所有人的共性，它是一种情感反应，提醒着我们对可能的现实伤害保持警觉。雇主们和数据分析师一起合作，集成了那些表象性的“事实”，并对他们旨在评估的个人生活产生着重要影响。而被评估者却完全不知道这些“事实”是如何构建起来的，也不知道其中包含着什么、将作何用，所以他们完全有理由保持警觉。

黑箱社会The Black BoxSociety

054

种族偏见的幽灵

在数据库中，任何人都有可能被贴上“不可靠”、“医疗成本高”、“收入下降”和其他不良标签。信用系统正在催生新的“少数族裔”(通常在一种不知不觉的过程中)，这一人群会由于错误的或不公平的对待而处于劣势。运算程序并不能杜绝基本的歧视问题，而只是会使那些没有事实根据的负面假设汇集成偏见。程序的编写是由人完成的，而人又会将其价值观嵌入程序，编写程序过程中使用的数据也会不可避免地带有人的偏见。

“信誉社会”的推崇者们认为，虽然数据采集行为有时会让人感到不安，但数据评估总会优于人工评估。他们辩称道，如果按照传统方式做出雇佣和升职决策，基于亲自面试和人工审核简历的方式会比自动化评判带有更多的偏见。芝加哥大学法学教授利奥尔·斯特拉里兹(LiorStrahilevitz)认为：“信誉追踪工具……提供了个人的详细信息，因此会降低决策制定者对于群体定式的刻板印象。”他赞成在雇用员工时使用犯罪背景信息，但认为这些信息不应该建立在带有偏见的数据之上。例如，如果把警力锁定在少数族裔，那么就会有更多的少数族裔留下犯罪记录，即使这个群体的犯罪率并不比其他群体高。研究人员透露，在线资源可能存在同样的问题。白宫关于大数据的一篇报道指出：“大数据分析学有可能会损害公民的权利，使长期受到保护的私人信息在房产、信贷、就业、健康、教育和市场中遭到滥用。”弱势群体的处境会更加艰难。

第二章

数据失控时代的网络信誉

055

例如，计算机科学家拉坦扎·斯威尼(LatanyaSweeney)曾对姓名搜索做过研究。斯威尼曾在哈佛大学数据隐私实验室担任主任，现在是美国联邦贸易委员会的高级技术专家。2012年，她怀疑非裔美国人在网络服务中遭受了不公平的对待。当斯威尼在Google中搜索自己的名字时，网页上出现的提示是“拉坦扎·斯威尼：被通缉？”与之相对，搜索“塔尼娅·史密斯”时出现的却是，“搜索到：塔尼娅·史密斯”。这种差异激发斯威尼进行了一项关于姓名如何影响服务提示的研究。她怀疑“不管（采集提示的）公司有没有和姓名相关联的逮捕数据，出现的通缉提示往往都和黑人姓名相关，而搜索白人姓名时都是中性提示”。她总结说：“在Google中搜索典型的非裔美国人姓名时，InstantCheckmate.comp这样的背景检查网站往往会给出负面提示，而典型的白人姓名的搜索结果都是中性提示。

在斯威尼公布了她的研究结果后，有人对此提供了几种解释。他们怀疑是不是有人故意将“通缉”提示和黑人姓名编辑到了一起显示呢？如果是，那就是种族歧视。但是InstantCheckmate和Google公司都极力否认。我们还可以假设，当黑人姓名是和“通缉”而非更加中性的词语关联在一起时，(不管是什么原因)就会有更多的网络搜索者点击InstantCheckmate给出的提示。在这种情况下，编程人员就会将匹配引擎进行优化，以获得更高的点击率点击率背后的原因尚不可知。搜索引擎充当了一种文化投票机器，表面看上去它只是呈现，而不是创造观念，实则不然。

黑箱社会The Black BoxSociety

056

鉴于运算方法的保密性，我们不可能知道它的确切运作过程。或许某家公司已经根据种族的不同对提示目标进行了歪曲，或许斯威尼获得的结果是由数据的其他关联项目造成的。然而，在无法获取编码程序和数据的情况下，任何争论都没有结果。

如果硅谷的多元化记录能够明晰一些的话，人们可能还会相信科技公司没有进行不当操作。多少年来，Google和其他的公司都拒绝公布它们的人员构成，并称之为商业秘密。当Google公司最终透露了员工数量时，评论家们都表示了担心：在大约46000名职员中，只有2%是非裔美国人(相对于12%的美国劳动力构成)。难道是因为公司中缺少少数族裔员工，才使得搜索结果带有种族偏见？

Google公司的Gmail也颇受争议。这项服务同样利用了聚合信息对不同的用户进行不同的广告定位。研究员内森·纽曼(Nathan Newman)注册了多个用于测试的 Gmail邮箱账户，并用这些测试账户发送了关于购车的电子邮件，然后对不同姓名下账户的广告效果进行比较。他发现，“注册的三个白人姓名的账户都被推送了通用汽车或者丰田汽车等类似这些汽车的购车网站……与之相对，注册的三个非裔美国人的姓名账户都至少收到了一个与不良信用卡贷款有关的提示，而且被推送的都是关于二手车的交易广告”。

数据失控时代的网络信誉

第二章

057

一位Google发言人指责纽曼使用“有缺陷的方法”得出了“极不准确的结论”，并声称Google绝不会“基于种族和姓名等敏感信息选择广告内容”。信誉算法的黑箱性质再一次使这一问题的解决陷入僵局。即使我们可以对某一公司进行审查，并确保其操作程序没有涉及故意歧视，但算法的疏忽仍然是一个需要给予现实关注的问题。不一定是“种族干预因素”让某项算法对“拉坦扎”和“塔尼娅”做出了区分，或许仅仅是由于过去有人对姓名因素进行过评估，而电脑程序又将该评估结果进行了延伸。在无法获知数据和编程内幕的情况下，我们永远无法知道这种关联性是如何产生的，也不知道“现实生活”中存在的歧视问题如何潜入到了网络空间。正如联邦贸易委员会主席伊迪丝·拉米雷斯(EdithRamirez)指出的那样，我们必须“确保在使用大数据算法时，(公司)不会基于社会上的法律或道德分类，如种族、族裔、性别和性取向等，对人进行划分”。

黑箱社会The Black BoxSociety

058

间接后果

我们都知道，间接后果是刑事司法系统中的一个常见问题。一旦某人被判定有罪(或者他认罪)，这一污点就会使他失去很多机会就业、住房补贴、公共援助等，即使他早已受到了应有的惩罚。类似的情况在金融领域越发显著。在少量发行“优等信贷”和“次级债”时，自动化系统可能会用默认的算法对种族群体进行重新分类，如果深究的话，这些分类方式都具有明显的非法性。

“数据驱动”的借贷行为已经损害了少数族裔的利益。一位律师在邻域经济发展倡导项目（即现在的新经济项目）中将次级贷款称为系统化地剥夺了少数族裔的“抵押资产权”，即使他们是长期的房屋业主。源于隐性偏见等因素的种族主义十分微妙并且长期存在，甚至可能会影响过去订立的信贷条款。少数族裔以15%的利率维持借贷比其他人以5%的利率维持借贷还要难，并且他们的逾期付款信息更有可能被记录到当前的信息评分模型当中，这些信息会以中立、客观、非种族歧视的形式呈现出来，成为可靠性和可信性的评判因素。这种情境下的信用评分不但没有使品格判断取代肤色判断，反而掩盖了一直存在的种族歧视问题，并且规避了审查。

人们对于黑箱评分的持续焦虑表明，自然科学方法常常被错误地应用到社会领域。土木工程师们可能会使用来自1000座桥梁的数据来评估接下来会有哪座桥倒塌；如今，数量分析专家们通过成百上千万笔交易来预测哪些用户可能违约。但不同的是土木工程师的研究不会对桥梁构成影响，而信用评分系统一旦将某人定为高风险用户并随即提高贷款利率，那么就会增加这个客户的违约概率。另外，秘密评分的“科学”并没有采用科学的方法来提供核心保障：公开可测的公平化程序和监督。只要分析过程处于保密状态，社会歧视问题便会依然存在并且难以解决。

第二章

数据失控时代的网络信誉

059

那些表面“客观”的数据可能实际上正在使原有的偏见得到加深和强化。假设警方在过去一段时间中更加关注某些居民区，那么该区的犯罪数量肯定会在总体犯罪数中占据很高的比例，这仅仅是由于警力恰巧锁定在了这些区域，而不是因为这些区域里的犯罪率比其他居民区高。一旦这些“客观”数据将其认定为“犯罪高发”地区，对这些区域的巡查就会更加密集和严格，于是逮捕的罪犯就会越多可能是由于真正的犯罪问题，可能是因为上级分派了逮捕配额，也可能是由于执法人员和社区成员之间的对立不断地升级。

警方的数据通常都不那么“纯粹”，它们通常都带有社会背景和主观偏见因素。当警务调配有所偏重时，执法者采集到的数据就不再是对犯罪行为的客观评估。白人持有毒品和枪支的可能性无异于少数族裔，但纽约的警察基本上不会拦住白人进行搜查，所以少数族裔持有毒品和枪支的犯罪记录比白人要高很多。也是这一原因，美国有10个州和51个城市都禁止雇主调查求职者的犯罪记录。可是在自动化决策过程中，不知还有多少不可信的“数据点”正悄悄地产生着作用？

黑箱社会The Black BoxSociety

060