权力的数据伦理学大数据与人工智能时代的人本方法新解

具体而言，“流动空间”共有三层。卡斯泰尔将第一层称为“物质支持”，由全球技术信息网络中的“电子交换电路”构成(Castells，2010：442)，这也是加速人员与货物流通的基础。第二层则由“节点与枢纽”组成(Castells，2010：443)。支持流动空间的网络并非“无立锥之地”、而是围绕着具有“明确的社会、文化、物理和功能特征”的电子链接“场域”而得以组织运作(Castells，2010：443)。它们各司其职、或为交流或沟通“枢纽”，或为“节点”。其具有战略意义的功能在于它们之间不断发展的不同层次之上。流动空间的第三个物质层涉及占据主导地位的“管理精英”所创造的空间组织与形式，其出发点在于把社会看作是“围绕每个社会结构所特有的主导利益形成的不对称组织”这一基本理念(Castells，2010：445)。

这个三层“架构”构成了社会持续转型的基础，并且也正是在其设计当中，我们可以读到“社会更深层的发展趋势——虽然无法公开宣布、但却足以在砖头瓦块、混凝土木、钢铁玻璃当中有所现形、同时也使人们在以上述形式所居、所营与所信时有所感知”(Castells。2010：448)。

在卡斯泰尔看来，社会权力就集中在技术网络的信息架构中。它不再局限于特定的区域，而是分布在信息流基础设施的设计之中：“信息流的力量优先于权力的流动”(Castells，2010：500)。因此，连接抑或断开与流动空间的联系就成了网络社会当中掌握权力的第一步，而第二步则是积极地参与全球基础设施的设计与塑造。

监控社会中的伦理

权力在信息社会架构的网络与流动当中发生转变。关于大数据的政治与叙事开始被嵌人基础设施建设当中，并且催生出大数据社会中社会技术权力的特殊形态。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

36

BDSTIs就是融合在我们空间架构中的一种权力形式。然而，它们并非人类生命蓬勃发展的解放空间。大多数时候，它们在维系社会主流主体权力的同时，将其他主体置于不利地位。这种现状几乎无法抵抗·也很难改变·特别是数据基础设施的设计本身就默认对于个人数据的跟踪与监控、同时限制公民的自由与自主。换言之，我在其他地方所说的“命运机器”(Hasselbalch。2015)在一般的[国家行为和商业实践当中加速整合，生成一个具有复杂性与先进性的数据权力社会机器·它可以引领、指导并界定人类生活。就是为了解决这些特定权力结构所带来的伦理挑战·权力的数据伦理学才应运而生。

“命运机器”是一种通过个人数据积累来预测人类行为，并且可以据此采取行动的技术系统与程序。人类每天都在与这些大数据“机器”互动·它们能够通过跟踪、审查与分析人类“数据副本”记录以及存储的过去与现在的数据来预测人类行为(Haggerty and Ericson,2000)。这样一来，人类生活就被框定并指向特定的方向。在设计端、“命运机器”专门用于生产机器可读型人类：在生产线的另一端、它对个人的命运进行如法炮制。事实上、“命运机器”生产、创建、影响并界定了个人的命运。我们其至可以说，“命运机器”预设了个人的宿命，这就是当下我们面临的变革：“命运机器”成为实体机器的组成部分、其至可以被直接售卖、交易(Hasselbalch，2015)。在这个机器系统当中、人类生活变得“可编程”(Frischmann andSelinger,2018)，并且仅在监视组件的筛选结构中具有意义(1.yon，2010)。

实际上。“命运机器”并不关注人类生活与身体。它对人类的生活根本不屑一顾，因为在其监视组件当中只有我们的“数据副本”具有意义。或者换句话说，它只对“数据副本”的“数据衍生物”(Amoore。2011)感兴趣。正如政治地理学教授路易丝·阿穆尔(Louise Amoore)所描述的那样。“它不是以我们的身份为中心，甚至也不是以我们的数据对我们的描述为中心，而是以对我们身份的想象与推理为中心—以我们的倾向与潜力为中心”(Amoore，2011：24)。

第1章大数据社会技术基础设施

37

这就是社会学家大卫·里昂(David Lyon)所说的“监视社会”(Lyon.2001.1994)，或者更具体地说，一个由社会技术“数据流”(Lyon.2010：325)维持的“流动监控社会”(Lyon，2010；Baumanand Lyon，2013)。“流动监控”与杰里米·边沁(JeremyBentham，1787)所提出的著名术语“全景监狱”以及米歇尔·福柯(MichelFoucault.1975，2018)的“全景敝视主义”所描述的监控形式有所不同。全景监狱与全景敝视主义被集中整合在社会空间架构当中，并作为一种意识上的自律而得以强制实施。“流动监控”与显性的集权型中高(sur)视角无关(Bauman and Lyon.2013)，而是嵌入数字基础设施当中，呈现出网络化与分布式特点，并通过监控者与被监控者之间越来越大的距离得以维系(Galic et al.，2017)。“流动监控”具有隐秘性，往往具有自下而上的属性，同时与个人生活部分交织。因而提摸不定，让人难以应对(Lyon，2010)。值得注意的是，监控并非例外。而是监控社会中人类生活和体验的一种常态。这是一种基于“数据监控”的文化(1yon、2018)，是对个人数据的系统性监控、跟踪与分析(Bauman and Lyon,2013; Clarke,2018;Christl and Spiekerman.2016).“流动监控”以“组件”的形式得以呈现，并将人体从数字化“数据副本”当中抽取出来，这些数据既可被用于政府控制目的的审查，也可用于商业交换以谋求获利(Haggerty and Ericson,2000)。

在监控社会之中，权力主体的转变也意味着将伦理审查的焦点从传统意义上具有专断监控权的政府扩展到通过积累、跟踪并获取大数据而获得权力的商业利益相关方。实际上，监控是一个“监控-L业复合体”，正是国家与私营部门主体之间的社会技术融通关系使得监控成为可能(Hayes，2012)。我们的私人生活变成了一个容易受到情报收集活动影响的公共-私人空间。虽然这些情报收集活动通常合法合规，但却不合伦理(Ron and Soe，2019)。这种权力机制的转型就是一个关键的伦理问题，因为它涉及个人(公民/工人)和那些在数字网络中收集并处理数据的大数据公司之间日渐加剧的信息不对称性（Pasquale,2015：Powles,2015-2018；Hasselbalch andTranberg,2016;Zuboff, 2014-9-9,2019-3-5,2016-3-5;Ciccarelli,2021)。正如特兰贝里(Tranberg)和我在我们的合著当中所阐述的那样。“最大的风险在于不透明的数据市场在个人与企业之间形成的不平等的权力平衡”(Hasselbalch andTranberg·2016：161)。

米

权力的数据伦理学：大数据与人工智能时代的人本方法新解

38

哈佛大学教授肖莎娜·扎博波夫(ShoshanaZuboff，2019)将“监控资本主义”描述为一种资本主义逻辑的积累，该逻辑将人类心理与经验商品化，以满足市场运作与科技巨头的商业目标。她对于监控资本主义方面的研究在21世纪10年代末引起了公众对于谷歌与脸书等强大的硅谷工业主体相应角色的普遍关注。她主要关注的是这些新型数字监控的商业形式对于现代民主制度结构的重塑方式，并对这种权力形式给出了非常具体的描述：

谷歌的两位创始人并不享有投票与民主监督的合法权利、亦不具备股东治理权·但却控制了全球信息的组织与展示方式。脸书的创始人，同样没有投票与民主监督的合法权，抑或股东治理权·但却控制了日益普遍的社交联系方式及其网络当中隐藏的相关信息。(Zuboff，2019：127)

大数据伦理

针对大数据算法的权力采取数据伦理关照的迫切呼吁主要体现在对于当代社会技术监控与对于权力机构的批判性研究当中。里昂强调了发展“监视伦理学”(1.yon，2010：333)的紧迫性[这也是他在与社会学家和哲学家齐格蒙特·鲍曼(Zygmunt Bauman)对话之时提出的“监控伦理学”]、旨在应对“监控的政治现实”(Bauman and

第1章大数据社会技术基础设施

39

Lyon。2013：20)。他们确定了这一伦理学需要解决的两个主要问题：一是他们用鲍曼的术语“广教化”(Bauman，1995)提到的—把道德从监控的系统本身与过程中抽剥出来；二是人类与其行为后果之间的距离(Bauman andLyon。2013：7)。这是一个非常实际的应用型数据伦理学范式、是一种“大数据实践的伦理学”(Lyon，2014：10)，旨在重新探讨日益暴露的个人与BDSTls开发机构之间的不平等权力分配。正如里昂后来直接在引用2013年斯诺登丑闻事件时所言：

我们需要评估监控的伦理工具，需要对隐私的重要性形成更为广泛的认识，需要将其转化为政治目标的诸多实现方式。而且，在这样做的时候、我们必须清楚地知晓我们正在努力建构怎样的世界。我们如何了解更好的世界是什么样子？(Iyon、2014)

对于监控社会监控架构研究目的就是揭示社会技术组件当中全新的权力构架，并且寻找其中的权力主体。埃里克·斯托达特(EricStoddart)认为，作为披露话语权的监控研究构成了一个伦理学的调查方法(Stoddart，2012：369)。其中，他考察了两种从伦理上评估监控的方法。第一种是“话语式披露”法，旨在“揭示当下事态以及备选替代行为的可能性”(Stoddart，2012：372)。他指的是一种福柯式伦理——伦理调查涉及监控实践，而非一个单一过程·因此他强调伦理学是一个释放与反思的过程。正如他所描述的那样。“这种话语式披露法向我们与他者同时揭示了自己先前一无所知的情况—我们一直以来生活工作的条件以及自身可能正被盘剥的种种方式”(Stoddart，2012：372)。第二种方法是他所说的“权利驱动”法。该方法参考了一系列人权工作，提出要对“那些具有监控权力的人问责”(Stoddart，2012：369)。这里、我们可以想到由21世纪大型数字技术平台塑造的“平台经济”的新型权力主体。可以说。它们改变了传统的个人权利保护模式的结构性与充分性(Belli andZingales,2017; Wagner et al., 2019; Franklin, 2019; Jorgensen,2019)。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

40

据此，法律学者尼尔·理查兹(NeilM. Richards)与乔纳森·金(JonathanKing)(2014)在“大数据伦理学”的基础之上，提出了更具包容性的权利驱动分析(Richards&King，2014：393)，指出了以牺牲“个人身份”(Richards&King，2014：395)为代价而对那些具备大数据能力的机构赋权的伦理影响。这样一来，当我们把大数据社会的分布式权力关系作为实施隐私权条件之时，我们也可以更好地将隐私视为一种“情境性”的存在(Nissenbaum，2010)———它在群体当中产生并生效。因此，保护隐私是一种集体责任，而非个体责任(Tisne, 2020)。

我对权力的数据伦理学基本思考的素材均来自这些对于数据填充式社会技术环境的监控特性描述。BDSTIs和AISTIs的空间结构均是有意维持权力的不对称而得以设计，它们不仅强化了现有的权力机制、其实也在创造着新的权力结构与权力主体。商业主体凭借数据积累以及利润和(或)控制驱动型数据设计而获得了权力，进而挑战了传统意义上的国家权力。

权力的数据伦理学就是为了应对大数据社会中权力的这种全新自然状态才产生的，它呼吁各界对于数据系统进行可替代设计与落实。但更为重要的是，权力的数据伦理学希望存有不同类型的数据文化(我在第4章将会提到这个术语)。在这里，“监控资本主义”(Zuboff,2019)很好地概括了资本与商业主体的角色与权力结构。然而，这一概念并未涵盖大数据社会的权力结构以及文化的“流动性”(Bauman, 2000; Bauman and Haugard, 2008: Castells, 2010;Lyon，2010；Bauman and Lyon。2013)，而这些正是权力的数据伦理学需要解决的问题。换言之，尽管这种权力在使用、设计、治理与构思方面的(监控)文化(Lyon，2018)当中日益自洽、不断改造并持续进化，但这种权力始终还是集中在少数权力主体之中并为其所设计，因此很难改变，但却并非不无可能。在我看来，正是由于这种权力的“流动性”、我们需要一种综观型数据伦理治理方法以应对大数据社会当中的诸多问题与挑战。

第1章大数据社会技术基础设施

41

数据权力的非对称经验

在新冠疫情期间，全球在线数据地图(例如约翰霍普金斯大学的新冠疫情实时地图)对死亡病例与阳性病例的红色区域进行了监测与分类。同时·将致命病毒无序移动的异质性模式具化为“红色区域”的人口或社区遭遇的隔离与排斥经历(Xu et al.，2021)。

在21世纪，所有生命都是全球监控构架的组成部分，因此突然被权力控制的风险体验也成了人们的共同经历。数字信息的短暂性与不稳定性意味着我们都将暴露在风险之中，无一例外。然而、社会结构数据权力成为一种常态和确定性所带来的直接体验并不新鲜，同时也绝非同质无异(Lyon，2007；Browne.2015)。

正如西蒙娜·布朗(Simone Browne、2015：10)在描述非裔美国人遭遇的监视经历时所说的那样，“监视对于美国黑人来说并不新鲜”，他们在整个历史上一直被监视、虑待与奴役：

与其将监视看作是由新技术例如自动面部识别或自动驾驶汽车(或无人机)等]带来的某种新鲜玩意儿，不如将其视为一种长久以来一直存在的东西———这就要求我们考虑种族主义与反黑色人种主义是如何支撑并维持我们目前秩序中的监控体系的。(Browne，2015：8)

历来固有的不平等在权力的数据系统当中同样挥之不去。强大的工具落入主导者手中，而那些一无所有的弱势群体仍然是专断性权力系统的控制对象。他们不会成为“管理精英”(Castells.2010)，充其量只可能在恶劣的工作条件下担任收人微薄的内容审核员(Chen，2014-10-23)，并为提供数据资源而弹精竭虑(《尤障碍倡导》，2020-5-3)。他们也鲜有可能成为数字赋权的主体。而且，正如我在本章末尾所要阐述的那样，在提出并制定解决方案与治理方法之时，他们鲜有发言权。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

42

从全球范围来看，国家与地区之间存在“信息丰富”与“信息贫乏”之别。许多发展中国家甚至没有经历过自身经济社会的数字化信息革命。因此，这些国家与地区的民众只能以自身丰富的数据作为交换，使用脸书公司提供的基础网络服务FreeBasics(《无障碍倡导》.2020-5-3)。此时。“贫富”差别再次决定了个体对于专断权力的接触与体验水平。正如政治学家弗吉尼亚·尤班克斯(VirginiaEubanks)所言·美国社会福利供给当中的自动化决策是19世纪贫民窟的一个复杂演变体(Eubanks，2018)。数据权力与歧视性对待弱势群体的例子可谓俯拾皆是·随处可见。2020年在英国，一种算法在给单个学生评分时把学生所在学校的历史表现纳入进来予以加权处理，导致大型公立学校毕业的学生成绩暴跌千丈，而收费较高的小型私立学校毕业的学生成绩则扶摇直上(Hern.2020-8-21)。在荷兰，政府机构使用的欺诈检测系统SyRi也主要应用于低收入社区(AlgorithmWatch.2020).

现如今，我们都拥有一个从人体当中抽象出来的数字化“数据副本”(Haggerty&Ericson，2000).它有可能被政府用于审查与控制、也可能在商业交换中被出售谋利，并且也可能成为数字暴力与虐待的直接对象。然而。“数据暴力”(Bartoletti。2020)的直接经历在日常生活当中通常不会人尽皆知。例如，丹麦女性埃玛·霍尔滕(EmmaHolten)描述了自己的私密照片在未经她本人同意的情况下在网上肆意传播的经历，其后多年还能收到无数男性带有恶意“物化”形式的粗暴侮辱(Holten.2014-9- 1)。女性是色情照片在线报复以及对于个人私密生活的侵犯性散布等恐怖经历的主要受害者。其他数据压迫的经验直接与个人的种族身份有关：黑人在网上常被用来指代“死亡”，“垂死”，“拘禁”(Noble。2018)，“色情”(Noble,2018),“犯罪”(Sweeney、2013)。与之类似，具有特定种族生物标志的个体往往更容易被定义为丑陋不堪(Levin，2016-9-8)。对于一些人群来说，这些早已成为他们日常生活中的家常便饭。

第1章大数据社会技术基础设施

43

在西方社会，虽然监视技术因其对于民主公民权利的挑衅而让人不屑，但也总有一些受人认可的例外情况，允许监视技术被设计并应用于管理特定的风险。从而解决社会问题。例如，当一个社会将一个特定的群体或社区定义为需要解决的“问题”时，数据技术与系统就被设计为运用尽可能复杂的方式针对这个问题寻求解决出路。生物识别技术与系统也不例外。在欧洲，整个“第三国家公民”或“无国籍”群体(难民和移民)被认定为欧洲的“移民危机”之源，并因此建立了一个遍布各处的移民与边境管理系统。例如，当寻求庇护者或移民越过边境之时，他们的指纹就会被收集到一个专门设计的EURODAC数据库当中，用于记录“未经授权”进入某个国家的情况。此外，在办理签证和公民身份申请或移民手续（包括庇护手续）等方面，已然建立了一个集中系统——ECRIS-TCN系统——用于互相交换第三国家公民与无国籍人士的刑事定罪数据。ECRIS-TCN支持对指纹数据处理，从而完成身份识别。在撰写本书之时，人们期望面部图像也成为 EURODAC 数据库和 ECRIS-TCN 系统的一部分.从而借助面部识别技术进行身份识别(Wahl，2019-9-10)。2020年的一项监管提案甚至建议将EURODAC中儿童生物识别数据的收集年龄从14岁降至6岁(Marcu,2021-4-29)。虽然数据权力越来越外显化、公正化、复杂化，但权力机制本身却并未发生改变。我们可能都身处“流动监控”之中，但并非所有人都体验到其真实的一面。

数据伦理学有发言权吗？

2020年，网飞发布的纪录片《智能陷阱》揭示了大型科技公司给我们日常生活所带来的种种伦理影响，通过这个全球最火的在线媒体服务平台触及更为广泛的受众群体。尽管可以将该影片看作是一次重要的批判，但其中所揭示的问题似乎异常新奇，让人大跌眼镜。这是一个仅由北美主人公讲述的故事，主要通过“损害控制”模式为白人男性发声。暴露在数据权力面前的群体沉默显得十分扎眼。全球民间社会运动的沉默同样如此。这部电影对于来自世界各地不同文化与地区的关键变革主体丝毫未提，而他们几十年来一直致力于揭露大型科技公司在全球范围内专断的数据权力，并且思考如何对其予以取缔、出台法律以及提高公众认识。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

44

权力的数据伦理学不仅关乎权力，它本身就是权力·它是提出问题、定义问题、提出并创建问题解决方案的权力，它也是赋予人们拒绝接受数字监视架构的物化以及作为主体发出反对声音的权力。然而，当提出解决方案之时，我们很少听到那些被数据权力支配的人的声音(1evin，2019-3-29)。比如，在纪录片《智能陷阱》当中、在机房里负责为“伦理问题”提供“解决方案”的工程师是白人男演员文森特·卡寒瑟(VincentKartheiser)，他穿着白色西装·操着一口流利的北美口音英语。

当浏览了一些遭受过极其残酷的数据权力侵犯的个人描述之时，我发现，遭受侵犯体验的核心是一种在权力面前的无力感——无法言说、尤法反抗。正如埃玛·霍尔滕在描述她的私密照片在网上传播的经历时所言：

将女性作为情欲对象来满足自身欢愉而不考虑她们的感受，这在网络空间里简直就是家常便饭。(这句话由作者翻译并加以强调）(Holten.2014- 9 -1)。

由于成绩加权算法当中引入了所在的公立学校的历史表现，英国学生劳拉·霍奇森(1auraHodgson)因此得到的成绩比她预期与应得成绩更低，她在给政府的一封公开信中表达了她的这种尤力感：

作为一名A等生、鄙人刚刚得知考试成绩，特此致函。这是一个系统强加于我身上的结果，我对自己所得到的成绩深感震惊与难过。对此·我连一点发言权都没有，而且还得带着这样有失公道的成绩继续过活。(作者加以强调)(Gill，2020-8-13)。

第1章大数据社会技术基础设施

45