黑箱社会 控制金钱和信息的数据法则＝THE BLACK BOX SOCIETY

经济分离和不平等现象

针对普通公民和针对高层金融家的信誉系统几乎完全分立在了两个不同的经济操作体系当中。

当征信局对用户做出评分时，用户并没有机会事先咨询什么样的财务管理方式可以获得高分，也不知道如何做出调整来扬长避短。征信局关心的是与其有业务往来的公司，而不是用户。但当结构化证券的保荐人需要一个AAA评级来推广其产品时，他们只需支付20多万美元就可以获得自己想要的等级，从而获取一种强大的游说力。此外，评级者会为他们提供广泛的咨询意见，指导他们如何在不影响其评级的情况下采取风险行动。至少到目前为止，当形势恶化时，很少有保荐公司或评级公司的高层为此承担过严重的经济后果。

而那些背负着债务在夹缝中求生存的学生则是另一番境遇。学生借贷的利率在7%以上，而银行获得贷款的利率却不到1%。这种差异表面看来似乎合理，花旗和高盛集团的资产必定高于普通大学生的资产。然而，它们也应该肩负更多的责任。它们比学生信用更高的真正原因是政府的背后支持。从理论上讲，没有理由不能降低学生的借贷利率，也没有理由不能上调银行利率。然而，学生不像金融业那样拥有强大的幕后支持者。

当然，金融机构需要获得一些联邦支持，大萧条时期银行挤兑的可怕情形让我们认识到20世纪20年代的放任政策并不可行。然而，政府在提供支持时需要施行一套复杂的法规来对银行风险进行严格限制。2010年的《多德-弗兰克法案》本来是计划将这样的风险监管应用到现代金融业当中，但它的实施速度极慢（并且不彻底)，所以并没有发挥多少实际的作用。该法案承诺国会正在“采取行动”，但它的法律漏洞太多，以至于难以促成改变。在银行与政府之间的交换条件中，银行占尽先机。

第六章可被了解的社会

261

隐形权力

算法机构的出现引发了广泛的忧虑。哲学家休伯特·德雷福斯(Hubert L.Dreyfus)在1972年写过一篇题为“计算机无法做到的事情”(WhatComputersCan't Do)的论文，该论文的长度相当于一本书。计算先驱约瑟夫·魏泽鲍姆(Joseph Weizenbaum)曾经担心没有经验的管理者会让软件去做那些“需要智慧的任务”。最初，管理者们会通过强调透明度和客观性来消除人们的忧虑。一台由算法驱动的计算机可以不受情感左右，并且对谁都一视同仁。先锋学者们甚至提倡将计算模式推行到法律体系当中，以取代常被人们称为“黑箱”的陪审团，因为陪审员们常常关起门来谈问题。然而，随着算法的推行，那些对结果抱有怀疑的人可以掀开“引擎盖子”看个究竟。专利法对于信息披露做出了要求，从而为知识产权保护设定了条件，使其受到公众审查与监督。

然而，随着时间的推移，这种相对公开的做法已被忽略；狡猾的无耻之徒学会了如何与各种系统进行周旋，信息排他性的利润优势越发凸显。垃圾邮件发送者、黑客、骗子、操纵者、竞争对手或公众对于算法了解得越少，新的理由就越容易编造。无论是从现实角度还是从法律角度来看，透明度已经被密不透风的保密性所包围。法律的合规性已被搁置。

黑箱社会The Black BoxSociety

262

根据商业秘密保护规定，算法程序拥有产权，并且无须进行披露。该规定还强调了算法保密的重要性，因为一旦算法遭到披露，它们就失去了商业秘密保护的法律意义。当国家安全受到威胁时，国家保密规则甚至可以提供更加强大的法律措施。以前是通过透明化实现合法化，现在是通过保密实行保护，这一转变就是黑箱社会的滋生土壤，它导致了信息时代中的很多社会危害。

无谓的军备竞赛和不正当竞争

计算机已经渗透到了我们生活的方方面面，它们获得授权，可以在不经人工干预的情况下做出决策。哲学家萨米尔·乔普拉(Samir Chopra)和律师劳伦斯·怀特(LaurenceWhite)将这些项目称为“自动人工代理”。代理，因为它们代表某些人行事；人工，因为它们不是有机的个人或动物；自动，因为它们采取行动时不会与编程和设置人员进行核实。

当然，自动人工代理并不是新生事物。比如全自动洗碗机就免去了我们每次都要扳动开关的麻烦，是一项非常棒的发明。然而，自动人工代理已经渗透到了比机械领域更加私密和重要的部门。它们会干预亚马逊的图书竞购大战，并且已经重塑了股票交易的版图。当你与应用程序或者网站进行互动时，它们还会自动收集和处理某些信息。我们回想一下，Google的自动匹配功能就是一个隐私迷局。并不是只有信用评分这种算法会对信誉构成威胁。

第六章可被了解的社会

263

一些激进的思想家们认为我们可以通过“自己的机器代理”来进行应对，这是一场数字化的军备竞赛，精明的人可以通过自己的自动人工代理来出击。但是，这样的“解决方案”会与老式格局的权利和特权发生碰撞。无论你的机器代理有多老道，它也不可能在几大重要网站上为你争取到更加有利的隐私条款，而只能是执行“要么接受，要么放弃”的操作。谁能保证那些通过算法控制的信息收集机器人能够切实地遵循它们在不受监督的网络互动环境中达成的即时“合同”条款？

在由搜索驱动的金融环境中，计算机间的交互问题更为显著。迪比克市当日交易者的运算能力根本比不上曼哈顿市中那些通过算法进行交易的老滑头们。他也没有机会用到纽约和芝加哥城之间斥资3亿美元为专业交易员铺设的电缆。

法律学者们已经撰文探讨过金融领域中有关技术和法律合规制度的错综问题。他们概述了一些值得称道的致力于改革当前管理框架的想法。然而，华尔街的交易决策非常复杂，以至于《披露政策2.0》都无济于事。当金融公司都在“追求股权的最大化利润和收益，而不理会全体股东的系统性风险或利益时”，未来必定一片萧条，并且充满风险。此外，对于根本没有价值的交易，无论记录得多么详细也毫无意义。

黑箱社会The Black BoxSociety

264

为什么袖手旁观？

见不得光的特权、私密互利的交易，以及无谓的军备竞赛都不是应有之义。然而，它们却在黑箱的中心愈演愈烈。面对这一情形，为什么相关人士都在袖手旁观？要回答这个问题，我们需要理解为什么算法机构会享有如此诱人的权威性。我在整本书中都在暗示黑箱的诱惑力，现在是时候让其诱惑性和局限性浮出水面了。

一飞冲天的诱惑

政客们急于通过鼓吹科技公司所取得的成就来宣扬美国经济的活力。但是，当高层总裁、经理人和投资人都在赚取着不成比例的超高收益时，我们应当停下来思考一下大数据经济的阴暗面。他们获得的市场优势归因于天赋和技能吗？还是他们在大数据领域享有的优势为这些计算机科学家和商业家们带来了必然的利润？主流媒体似乎青睐于塑造“超级巨星”，使人们认为收入不平等是“以技术为导向的科技变革”所致。然而，单独的一个数据平台并不能严格地被称为“技术”。它让我们想起了早期的电话或电报网络所占据的主导地位：现代社会中人们必须接触的公共设施所具有的垄断力。

第六章可被了解的社会

265

国家法律针对这些公共设施制定了很多规定。电话公司不能仅仅因为用户没有支付涨价后的服务费就切断服务。价格的上调幅度必须与生产性投资或公司记录在案的上升成本相符合。公司不能采取歧视性行为，并且不能随便利用其享有的通信特权来为自己牟取商业利益。我在前面章节提出的建议也适用于今天的信誉公司和猎头公司。

沉迷于速度

高科技企业已经有备而来，政府根本跟不上我们社会的变革速度。支持黑箱行业的说客们经常嘲笑政府没有能力理解Google或高盛集团的业务流程。然而，正如我在前面章节提到的，有先例表明，相关机构可以通过隐私领域的专业知识来确保法律得到切实执行。政府曾经成功地遏制过医疗诈骗，这就是处理其他舞弊行为的一个范本。只要政府有意愿，就可以有行动。

后一个要求值得注意。我曾经出席过一次会议晚宴，其间谈论到了有关搜索中立的一些基本原则。当时有一位硅谷顾问突然说道：“我们不能编写中立代码。”他的意思是对网站进行公平排序的决策不能够用算法来表达，那样的算法无法驱动大多数网站的操作。当我提出了本书中的一些建议后，他只是无奈地重复：“是的，但我们不能编写这样的代码，这样做不行。”对他而言，并不是只有技术原因，还有不可改变的社会问题以及未来的政策干预。硅谷的巨头公司们只是做一些表面化的改革，或者连表面工夫也不做。这位硅谷顾问认为，如果不能以当前的搜索速度做出决策，那么就不要决策。

黑箱社会The Black BoxSociety

266

如果说政府官员们没有能力影响科技创新的话，那么各领域中的政治家们也不应当温顺地屈服于科技自由主义。我们必须对科技巨头加以遏制，不能将它们高度自动化处理纠纷或客户质询的方式视为必须接受的唯一形式。只有行动起来，我们才能够摆脱不必要的无奈和由我们自己引起的监督行为。

信誉创建形式的随意性已经越发明显。我之前探讨过歧视问题(种族、政治、经济和竞争力)，这里就不再重述了。当今互联网行业中的不公平现象是显而易见的，这也是为什么我们要加以警惕的一个重要原因。“互联网”是人的发明，也可以被人改变。有人认为搜索和信誉算法具有客观性和永恒的确定性，但其实它们都是为私人利益服务的简化形式，根本不能如实地反映现实。Google曾经在隐私和反垄断案件中向欧盟当局做出让步，可见它完全有可能创建一个更加公平的网络环境。但它首先需要有一个明确的意识，其次是要采取行动。

我们的技术不仅是科学进步的成果，而且是社会、市场和政治力量的共同产物。它们已经深深地嵌入到了有赖于人工判断的社会实践当中。Facebook可以雇人来评估其用户所共享的内容是否恰当；社交网络巨头公司可以通过人工审核员阻止算法推荐带有明显的民族主义倾向的帖子，这并不是一项沉重的负担。Google可以通过人工测试员来对算法进行变革，使其不仅能够挑选出最佳网页，而且可以对该选择做出解释。这种干预措施是公司业务的重要组成部分，而且是遵守法律规范和义务的一部分。当决策者确实无法对科技加以理解时，他们可以聘请专家来搭桥铺路。一位政府官员就曾经聘请过硅谷的专家来追踪华尔街的骗行。我们需要更多的执法人员来采取这样的行动。

第六章可被了解的社会

267

失败的规模扩张

华尔街在进行资产评估时认为，以极快的速度实现规模扩张是吸引投机资本的关键。其目标已经不是快速，而是加速扩张。投机者们为了获得更多的“承诺”资本而极尽其能。理论上讲这是一个成功、认可与投资过程的良性循环。Google和Facebook等平台就曾在规模基础上逐步累积权力。数据经纪商们都希望获得同样规模的信息量，成为营销人员所凯觎的文档数据所有权的“主人”。

他们想以最快的速度从数百万个交易中每笔赚取几个便士。事实证明，只要你能够持续下去，金融资本就会自动找上门来。迅速地广泛撒网，聚少成多，这就是被美国国际集团吹捧为财富圣杯的“意外之财”的累积法宝。

然而，当企业的“规模”扩张太快时，它们将如何做出明智的判断呢？抵押贷款证券发行人不再对打包成资产担保证券的数百个抵押贷款逐一进行数小时的审核。Google和Facebook极少愿意去处理个人信誉或版权纠纷。金融和数据大亨们通过“自动化纠纷解决方案”将很多人冷落门外。鉴于下拉菜单、电话分流和话务中心员工的一系列令人沮丧的行为，我们可以看出许多企业根本没有解决问题的诚意。

黑箱社会The Black BoxSociety

268

这些问题的解决方法有很多，例如内部审查和外部申诉权利。我在前面几章中针对这一问题提出过建议，目的不是让公司与用户的所有纠纷都通过法律方式来解决，而是给人们诉诸法庭的机会，让他们能够针对不公正的现象向上级主管部门发起投诉。有时相关部门会强制要求信誉评级部门执行正当的程序义务，甚至要求其对专有方法进行披露。监管机构曾经要求一个对医生进行评级的网站披露关键的数据和模型，后来该网站的品质得到了很大提升。信用评级机构应当借鉴于此，并通过更多的核查工作来确保数据的真实性。

Google、Facebook、亚马逊、微软和苹果等平台的用户数量与一个小国家的人口不相上下。只有当它们在自愿或强制之下对受其伤害的人做出积极回应，我们才能迎来真正的文化转变。在美国之外的很多国家都有了这种转变，它们对于巨头公司有着更为超前的法学认知。例如，德国、阿根廷和日本都要求Google对诋毁个人或误导用户的搜索结果进行更改。对网络用户予以尊重的一个重要举措就是通过法院以外的非正式机构，例如非政府组织领导的仲裁小组，来规范这些决策，而不是单纯地将用户视为算法程序的数据来源。

第六章可被了解的社会

269

被投机资本所迷惑

尊严和公平的实现并不是不可能，而是要付出代价。大多数金融公司抵制问责的首要原因还是经济因素，其目的是要最大限度地提升高层管理者的薪酬，并继续吸引更多的资本。公司领导者理应因其技能和远见获得回报。可问题是，这些巨额回报从何而来，其代价又是什么。

在20世纪上半叶，当监管机构和法院针对公用事业设立“合理回报率”的概念时也曾质问过相同的问题。它们认识到了基础设施对于社会生活的极端重要性，并确认了承担维护义务人的受偿权，但同时也对所有者和管理者的权利进行了限制，禁止它们向公众收取不合理的费用，并要求它们的报酬建立在提供安全、可靠的服务的基础上。

当然，银行是基础设施的重要组成部分。鉴于2008年的救市需要，什么样的回报率才是银行家的合理报酬呢？其重要地位和所肩负的责任之间有没有一个平衡点？从什么时候起费用上涨像是在哄抬物价？什么样的服务才算安全可靠?最重要的是，银行家们为什么能够拿到巨额的薪酬和奖金？他们高薪背后的工作到底为社会创造了什么样的价值？

作为对比，研究癌症疗法的博士科学家们每年的收入大概在11万\~16万美元之间。但专门从事并购的银行家们却有可能获得约200万美元的年收入；其上级主管的薪酬则是以千万美元计数。高层对冲基金经理每年可以赚取数十亿美元；他们暗度陈仓，成功躲避了公众的视线。只有在极少数情况下，他们的内幕交易才会引发当局的注意。

黑箱社会The Black BoxSociety

270