PDF 物理页索引 130
文件中的第 131 页 · 印刷页码:111
不过大部分的计算机评估结果只在幕后起作用。几乎所有的数据公司都会搜集用户的个人信息资料,并且对其进行全方位的打分:商业信誉、购买意愿、在社交媒体上的影响、固执性、可被影响性。用户对此通常并不知晓。这会使人们产生巨大的不适,并且会激发人们对于普遍歧视的怀疑。人们会感觉被以某种方式观察,同时受到糟糕的对待。只有透明才能改变这种状况。
但问题是,我们无法轻易地回答这些程序有益于谁,又有害于谁。一个经常听到的观点认为,首先会因为这种评分而受到损害的是穷人和被歧视者。银行将会通过更多的数据更好地识别那些财务状况不稳定的顾客,信用卡公司也可以更加轻易地从顾客的支付记录中解读出风险情况从而区别对待他们。博客作者萨沙·洛沃写道:“那些私人数据将会被自动计算,而且在个体不知情的情况下遭到滥用。”洛沃曾是数字化进程的狂热追随者,而现在他变成了一个持有悲观看法的雄辩者。
但是,就像洛沃所写的那样,事情并非那么简单。这些数据可能恰恰对那些受歧视者有所助益。一家名为吉尔德的公司设置了56000种变量在网络上搜寻那些不是从精英大学毕业却工作出色的编程人员,他们发现了这些迄今被忽视的人,并且给了他们一个机会。
旅行网站Orbitz发现,那些拥有苹果电脑的人在预订宾馆时意愿支付更高的价钱,因此他们在对这些客户进行房间报价时会比向使用Windows(视窗)操作系统的客户报价时更高。苹果电脑用户的优势,即能够为一台电脑支付更多的钱,此时却变成了他们的劣势。巴塞罗那的科研人员比较了向具有“节约特征”的网络使用者和向具有“富裕特征”的网络使用者的报价,发现了这样的结果:面向“节约者”的报价部分地低于面向“富裕者”的报价,最高可达4成。而在一家在线商店,那些从打折网站跳转过来的网络冲浪者可以比那些从其他网站跳转过来的网友支付更少的费用,最高可达23%。但是如果反过来,那在经济学上就没有意义了:如果商家针对那些不太富裕的人提高价格的话,他们可能会得不偿失。
111
第三章控制革命
PDF 物理页索引 131
文件中的第 132 页 · 印刷页码:112
程序算法得出的结果甚至可能比人类的判断更公正。如果是由一台机器做出选择的话,在我们的社会中,深色皮肤的求职者可能会有更好的机会。我们当然不应当将机器给出的评分与理想的决定相比,而应该将其与人类通常做出的决定相比。人类的决定往往是充满偏见的、狭隘的、有偏向性的。程序算法绝对是能够确保更多公正性的工具,前提是我们能够正确运用这种工具。
消费者保护可能是一个例子。消费者保护的一个挑战在于,在不剥夺其自主决策权的情况下,在人们做出之后很可能会后悔的决定之前保护他们。可供选择的方法是解释说明。比如在购房、保险或者信贷方面,程序算法模型可以清楚地给出精确的、私人定制化的答复。对于那些想购房的人,机器能够提供更多、更详细的数据,比如:那些同样资质的购房者,其购房后面临的破产风险有多高?一旦他们买下这样一个大房子,为此陷入疲于奔命状态的概率有多大?以及其他更多有用的信息。
微粒社会 The Granular Society
112
PDF 物理页索引 132
文件中的第 133 页 · 印刷页码:113
或者设想一下,商品检验基金或者一家相对具有可信度的机构在严格保护私人信息的前提下提供分析顾客特征的服务,从中推导出他们的典型错误。或者这家基金设计了一种“游击一算法”,它能够据此模拟银行和信用卡公司如何评价他们的顾客。在此基础上,它可以提供很多有效的警告和建议。
重要的是要认识到我们会与丰富的评价模式格格不入。目前还没有证据显示,这些评价模式是被统一控制或者认证的;也没有事实证明它们是否有意义,或者它们到底有多危险。我们可能会在一种重叠而又矛盾的评级网络中活动。控制社会的一大特点就是:使人迷惑。
所有评级都将充满偏见。这是不可避免的。这些评级从来都不是中立的,总会掺杂可疑的、决定越过数据筛选和程序算法的逻辑。虽然一些程序算法的拥护者辩称他们的分析软件的确有上帝一般的客观性,并且强调它们会还原现实,“就像现实原来的样子一样”,但这只不过是欺骗而已。每一款软件都会体现编程者的意志。
比如脸谱网正在根据某个用户与其所有朋友交流的频繁度不断评估朋友的价值和意义。朋友因此不再是同样的朋友,而是有极大的差异性。脸谱网将亲戚的评级提得更高,甚至会在用户主页显示亲戚发布的、与他并无关系的状态更新。血浓于水—脸谱网正是通过代码下意识地强调了这个准则,而许多用户可能并没有意识到这一点。
我们或许要在这些影响下生活,至少要在那些特别关注生活方式和理念的非国家机构带来的影响下生活。这也意味着算法不会一直歧视同样的社会群体而优待其他的社会群体。在微粒社会中,优势与劣势转变得非常迅速。
113
第三章控制革命
PDF 物理页索引 133
文件中的第 134 页 · 印刷页码:114
在这种差异革命和控制革命的叠加中,我们将面临更多的细微歧视,与之伴随的是被快速计算并快速消失的概要特征,它们像闪电一样照亮我们的生活。我们很难从这些概要特征中总结出社会的一般劣势。但是这些短暂的细微歧视会加强人们对于社会不公平的感受。
在这种评级社会中,有一个群体可能会被视为失败者:专家群体。
专家的终结
如果某一天律师们的业绩能够被公众看到会怎么样。当事人可以通过他们的智能手机了解这位女律师曾经就读于哪所大学,她取得了怎样的成绩以及她之前的工作经历。查询到的信息如下:“这位律师的诉讼文书的质量位于其同龄人的前20%。她在法庭上的获胜率是27%。”
并非所有的律师都会将个人数据提供给那些程序算法并使得其评价可见,但是拒绝被评价可能很快会被理解成弱点:谁不想被评价,谁就是在尝试掩盖其难堪的业绩。如果唱片公司在发布唱片后拒绝将其置于批评者的评论之下,绝对会遭到质疑—这个艺术家的市场前景会因此而变得黯淡。于是可以预期,所有的从业者和交易迟早都会被透视,因为那些拒绝这样做的人会遭到惩罚。
微粒社会 The Granular Society
114
PDF 物理页索引 134
文件中的第 135 页 · 印刷页码:115
这会对谁有好处,又会损害谁的利益呢?首先是那些穷人?不大可能。清楚的是,那些得到极好评价的律师和医生将会要求明显更高的酬金,他们就是这种数字化评级社会中的超级明星。同时,那些公开的评分会导致更加激烈的竞争,通常来讲所有的消费者都会从中受益:道理很明显,如果社区中有三家冷饮店,冷饮的品质通常要比只有一家冷饮店时更好。
那些有着糟糕评价的律师和医生可能需要降低其服务价格,对于穷人而言,这意味着他们能够消费得起这些服务。因此受歧视者将继续得到比富裕者更糟糕的服务,但是他们不必再支付与现在一样的价格了。对于穷人而言,这种评价透明性至少提升了性价比,即使它并不能确保他们能够得到相同质量的咨询指导服务。
大多数的被评价者将会憎恨这种体制,而且他们会尝试操纵这些评价系统。人们或许会成功,但是随着时间的推移,大部分的评价标准将变得相对健全而且真正公平—尽管还不完善。但是或许它们已经足够好了,这种机制的优势会慢慢体现出来。
个人声誉的重要性将会大幅提高,但是作为整体的某一行业的声誉将变得不那么重要。律师、医生、法官、手工业者以及教师的影响力将因犯下的错误被公开而降低,他们原本的专家地位也会变得相对化。就像国际象棋大师那样,自从他们被微型计算机击败之后,就显得不再那么耀眼了。专业人士将面临如何才能不犯错误这个难题。将会有越来越多的医生被揭露为二流或者三流的医生,而且他们和最优秀的医生之间的差距将会令人痛苦地被公众知晓。
115
第三章控制革命
PDF 物理页索引 135
文件中的第 136 页 · 印刷页码:116
这到底会令人多么痛苦,围绕糟糕教师的讨论会给出一个答案,这种讨论在学校被禁止,因为各个学校还不知道该如何处理这个问题。优秀教师与糟糕教师之间的巨大差距可能会对孩子们的人生道路产生决定性的影响,尤其是在教育方面。但是人们将会继续被教育体系蒙蔽,所有教师都很好—或者如同一位文化部部长语带嘲讽所表达的那样:“从目前这些鉴定来看,90%的教师都是超过平均水平的。”
这种认为专业就代表着良好表现的幻想将会随着评级社会的到来而破碎。专家们需要认识到他们会遭到不断的抵制:对于他们我们将会变得越来越有批判性,我们会用评价、对抗性的知识以及反对专家鉴定等武装自己。比如“谷歌医生”,即病人可以在网络上搜索自己的病征,只是这种发展的一个侧面而已。我们将不再那么容易被操纵,在各种形式的评价的武装之下,我们将会进一步地体会到自我赋权的感觉。
真正的权力增长实际上属于那些程序算法精英。人们或许可以阻止那些大型集团公司对于数据的渴求,但是当国家权力与这些新的精英结盟时,我们才会发现,它对我们的民主体制构成了多么大的威胁。
不测性政策
我们来做一个大胆的设想。假如国家也开始根据计算机给出的评分采取微粒化的行动。举例来说,国家不再根据统一确定的标准分配福利,而是基于流动的程序算法评价。有些药品只会分配给那些经过测算会严格遵循医嘱而且其生活方式正朝着有利于健康的方向转变的公民。用于刺激经济的税收优惠只会面向那些乐于消费的人,这样资金就会重新流向实体经济而不是进入储蓄账户。那些根据其评分推测会比预定时间更快还清联邦助学贷款的学生,要么会得到更多的支持,要么会得到更加优惠的条件毕竟,国家需要承担的风险变小了,也节约了资金。
微粒社会The Granular Society
116
PDF 物理页索引 136
文件中的第 137 页 · 印刷页码:117
从经济学的角度看,这样一种国家形式的评分将比目前居于主导地位的喷壶原则①更有意义,它可以避免药品浪费,从而提高财政补贴的效率。但是即使能够产生这样的效果,仍然存在一个严肃的问题:我们会想要并且容忍这样一种政策吗?我们会接受平等的基本原则,被众多的概率计算操纵吗?或者我们会不会认为这是一种应该受到谴责的歧视?就算我们能够接受它,那么我们也能接受由算法对公民选举进行加权计算这种极端案例吗?这当然也是可以想象的:每个公民的投票都可以根据特定的标准计算,比如按照社会责任心或者孩子的数量,又或者其社会贫困情况(这会排除富裕公民的影响)。
在法律面前,所有公民都是平等的,法律不会根据一个人的名誉去评判他。这是我们民主体制的基本理念。数百年来,这种民主体制一直在反对贵族精英的特权以及所有关于人类不平等的理念。但是如果这种评分制的出现使得这种不平等清楚可见并且可以预测的话,那么它对于民主体制来说又意味着什么呢?
117
第三章控制革命
① 所谓喷壶原则,是指在福利或者补贴分配中,没有对目标群体的实际需求进行甄别,也没有对需要的轻重缓急加以考虑,只是像喷壶一样将补贴或者福利喷洒给目标群体。——译者注
PDF 物理页索引 137
文件中的第 138 页 · 印刷页码:118
这并不是全新的问题。一个引发了一场车祸但没有前科的人所受到的惩罚,肯定与一个引发了车祸的声名狼藉的街头流氓受到的惩罚不一样。保险公司对两者的处理也会非常不同。甚至国家都不能免于这些故意的歧视。当前讨论得最多的案例就是妇女比例问题(比如监督机构中的妇女比例),它反对的是性别歧视——对一种性别持积极态度,而对另一种持消极态度—目的在于实现一种更加公平的分配。而对收入更高的人征收更高的税也是一种完全被接受的不平等行为,其目的在于争取更大的公平。
状态算法分析从更高程度解析了这个原则。算法分析不但能够区分群体—诸如妇女、高收入者,而且还能区分个体。在此基础上,微粒化的歧视,即单体化的歧视将被美化。
这种形式的政策已经有了首批赞同者,这些人并不像人们猜想的那样来自那些提供数据分析服务的大型数据公司,其中一位甚至是激进的哈佛大学教授,这位教授长期以来服务于美国总统奥巴马。卡斯·桑斯坦教授致力于研究如何能够激励人们做出对于自身有益的行为。他抱怨说,在学校餐厅里,放在靠前位置的是那些诸如薯条和可乐的高热量、容易致人发胖的食物,而不是那些健康的食物。如果将蔬菜水果放在餐厅柜台的显眼位置,他发现学生们会更多地选取这些食物。桑斯坦称其为:创造一种“选择结构”,即预设个体选择,从而使人们能够做出某种更加有利的决定。
微粒社会 The Granular Society
118
PDF 物理页索引 138
文件中的第 139 页 · 印刷页码:119
桑斯坦乐于引用的另外一个案例来自德国。在德国,只有大约12%的公民愿意捐献器官,而在奥地利这一比例接近99%。为什么会有这么大的差距呢?是因为德国人更缺乏同情心吗?还是因为存在文化差异呢?都不是,而是因为在奥地利每个人都默认有义务捐献器官,除非他明确表示反对捐献。而在德国,情形恰恰相反:捐献器官并非每个人的义务,除非他明确表达了捐献的意愿。奥地利的基本理念是义务捐献除非决定退出,而德国的基本理念是非义务捐献除非决定加入。这种不同的“选择结构”解释了两国在捐献意愿上的巨大差距。
桑斯坦要问的是,如果这种“选择结构”不是针对全体人民而是单体化地针对个体而设置的话,又将会出现什么样的情况呢?如果人们像另外两位法学家宣称的那样,形成了“微粒化的个性化偏好”,又会出现什么样的情况呢?
基于消费行为、风险偏好、年龄、职业以及许多其他数据,个体在退休金和医疗保险方面的支付信息很可能被暗中获取。比如购置房屋或者昂贵商品的合同中可能会自动生成个性化条款:针对那些谨慎、消息灵通的人,商品的退货权可能会被取消,而相应地,他们会在购买价格上享受优惠。
桑斯坦据此推断:“因为对于有关决定的知识的了解增多而形成的个人基本特点,将在未来深刻地影响我们的生活。”他从中主要看到两大优势:一方面,国家将会公正地对待每个人;另一方面,“好”公民不必再为问题公民的错误行为提供补贴。每个人所得到的都与他自己的行为相称。但是这会是一个优势,还是会将我们当前流行的公正理念搅得混乱不堪呢?
119
第三章控制革命
PDF 物理页索引 139
文件中的第 140 页 · 印刷页码:120
然而,在每个案例中,桑斯坦都忽视了一个重大缺陷:相对于当前的体制,决定性的差异并不在于有多少人处于一个规则之下而在于他们各自如何被理解。较大的群体诸如高收入群体或者女性群体可以在之前得到很好的定义,定义的标准是清晰的,对于所有参与者而言都是透明的,而且这些群体自身也是真正稳定的。虽然个别人的收入会偶然下降,或者有些女性会改变其性别,但是总体来看,我们与之打交道的是可信赖的群体。
而在程序算法中,谁属于哪个群体并不清楚。要么没有特点,要么特点很容易改变。由程序算法生成的个体特征智能到令人吃惊——这种特征难以或者根本就无法理解。我们也面临着一种全新形式的“平等”。假设健康得分为7(区间为1—10)的人将被允许使用某些特定药品,那么绝对有可能两个同样得了7分的人,几乎在所有方面都有差异,只是计算结果使得他们“一致”了。因此,受优待和受歧视的群体主要是在计算的过程中才能被区分开来。法律将不再是为平等的人而撰写,我们需要生产出“平等者”,使得他们服从这样的规则。
此外,像桑斯坦承认的那样,这些正在出现的群体一点儿也不稳定。某个人的基本特点“可能每年都在变化,原则上他们可能每天,甚至每个小时都在改变”。某位公民可能很快就不知道自己当前处于什么样的法律状态。法律自身可能会被解析,从而对特定的公民而言变得不可理解。法院可能也要花费大量精力关注各种不同的法律状态。这种碎片化的复杂状态可能只有利用全新的方法才能
微粒社会 The Granular Society
120