权力的数据伦理学大数据与人工智能时代的人本方法新解

在21世纪10年代，具有不同偏好的各种技术文化在全球舞台上百家争鸣.为了决定当下AISTIs与BDSTls的设计方向而“八仙过海、各显神通”。正如上文提及的来自世界不同地方的两个智慧城市案例所示.不同技术文化偏好体现在它们会通过设计满足数据当中特定的利益模式。我们在设计人工智能的过程当中需要批判性地看待这些利益，对于我们在设计数据密集型社会技术基础设施的组件之时行使了哪些权力要做到了然于胸，比如：民主权力、垄断权力、独裁权力或极权权力。我们为什么要这样做？可以说，凡此种种皆是人为赋予。在这一过程当中，我们有意识地创造权力、提供权力，并且分配权力。

为了推进对于人工智能设计与开发当中数据利益的进一步探索，我提出了基于关键数据隐喻的五个主题群：“作为资源的数据”“作为权力的数据”“作为调节器的数据”“作为视觉的数据”以及“作为风险的数据”。下面，我将逐一予以介绍(Hasselbalch，2021，有改编和修订）。

作为资源的数据

谁提供了数据资源？谁在数据资源当中拥有利益？数据资源是以何种方式得以分配？人类又是如何受益的？

“作为资源的数据”关注的是数据设计的数据资源分配当中的不同利益。如果数据是一种资源，那么它也可以从其所代表的人或物当中分离出来。数据能够以一种结构化或非结构化的方式在系统中“被提供”“被访问”“被集中”“被标记”“被提取”“被使用”“被处理”“被收集”“被获取”以及“被置入”。资源是一种有形的、空间上的东西：我们可以拥有它，也可以把它放在容器当中或在其周围建立边界，还可以储存并且予以处理；当然，它也是一种可有可尤的东西。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

126

在关于大数据的公共话语当中，资源隐喻十分常见(Puschmannand Burgess，2014)。技术评论家萨拉·沃特森(Sara M. Watson)认为：公共话语当中个人数据的主流隐喻具有“工业性”，仿佛它是一种需要经由“大规模工业流程”处理的“自然资源”。比如，迈尔·舍恩贝里耶(Mayer-Schönberger)与卡基尔(Cukier，2013)将数据描述为工业大数据时代进化的原始材料。然而，“作为资源的数据”这一隐喻实际上指代两种不同的事物：一种资源确实是工业流程的原材料，经过加工后可以变成产品：另一种则是那种使我们作为个体的人变得更加强大的资源，“资源丰富”也就意味着作为个体的人拥有能力、身体、心理与社交手段。换句话说，这里提到的第一类资源是有形的、物质的，另一类是社交的、心理的。实际上，两者都是语言学家乔治·莱考夫(GeorgeIakoff)与马克·约翰逊(Mark Johnson)在他们的经典著作《我们赖以生存的隐喻》(1980：25)当中提到的“容器”隐喻：我们可以处理并推理的边界性的实体。

当然·作为一种资源，数据可以通过非常具体的方式得到保护与治理。在每一种情况之下·微观或宏观利益相关方的利益都被纳入了这些治理和资源处理框架之中。一般来说，各个行业的利益体现在其基于数据运作模式的原材料当中，比如：政治参与者的利益在于为人工智能创新提供丰富的数据基础设施，以利于其在全球市场开展竞争：工程师的利益在于利用大量的数据训练和改进人工智能系统：个人利益在于保护其个人数据的丰富性，其至通过创建个人数据库来强化其数据资源并且直接从中获益(正如“数据信任”或“个人数据存储运动”所倡导的那样)。显然，将个人的心理与社交资源看作是工业生产线上的物质资源反映了数据利益之间的冲突。但除此之外，信息不对称性同样也在“数据富人”与“数据穷人”之间造成了非常明显的社会经济差距，这是在社会当中更为基本的结构层面之上的利益冲突。这样看来，数据不仅是人工智能技术的“原材料”、本质上也是重要的个人资源。

第4章数据利益与数据文化

127

将数据视为一种个人资源意味着需要通过保护数据来防止其对个人造成危害。个人数据保护就意味着针对个人社交心理资源予以保护、或者也可以说是保护“人格尊严以及精神与身体的完整性”(HLEGA、2019：12)。让我们再回到本章开头的例子中来，人工智能开发者会利用不同的数据资源来设计人工智能系统。这些数据资源既可以在她自己的计算机上加以处理，或者也可以使用更强大的云计算和人工智能平台，例如谷歌或亚马逊。然而，想要这样做，她必须与这些服务主体分享数据资源。如果优先考虑个人数据利益，在处理个人数据之时，她必须相信这些公司同样会把数据作为个体私人资源来予以对待。因此，对于这些服务主体的信任本身就蕴含着一种数据利益设计选择。其他主体同样也可能在数据资源当中拥有利益。例如，如果开发者正在设计一个人工智能系统以评估员工业绩，那么要求开发该系统的管理者的利益可能在于创建一个尽可能大的数据资源，能够评估员工日常工作中的每一个工作细节。管理者甚至可能希望从工作场所之外收集更多数据(如员工在社交平台的表现)，以便人工智能系统能够预测工作场所的潜在风险(例如，员工在互联网上搜索公司或组织以外的工作)。反过来讲，员工利益在于将数据资源控制在一个特定的限度之内，防止公司进犯。同样，代表这些员工的工会可能也希望参与其中，从而保障其所代表的员工数据利益。

作为权力的数据

谁被授权或禁止数据访问与处理？数据设计是否支持了人类责任、权力与数据能动性？如何解决不同数据利益之间的冲突，从而为人类带来福祉？

“作为权力的数据”与“作为资源的数据”密切相关，因为资源分配其实也构成了权力分配。社会之所以能够正常运作，离不开社会团体、国家、企业和公民之间的权力平衡。例如，一个民主社会代表了一种权力结构。在这种结构当中，当权者的权力总是与公民个人权力相互平衡。在这里，我们可以从个人与在数字网络中收集并处理数据的机构、公司之间的“信息权力”与信息不对称性来思考一下权力机制。数据的访问或获取不仅与某些社会团体、机构和(或)企业控权相关，同样与民主和“公平”程序的功能有关。其中，对于信息的访问与对于数据处理过程的详细说明是“问责制”与“公平性”的基础。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

128

总体而言，我们需要的是通过知情决策与选择来支持“人类能动性”数据设计，例如，对于数据以及系统流程的访问能够赋予调查记者或研究人员挑战人工智能系统的权力。记者或研究人员的利益体现在系统的数据之中，而公司为保持这些算法与技术设计为己专有，可能会对数据访问加以限制。例如，前文提到的“机器偏见”研究当中的研究者就没有权限访问用于被告风险评分的计算系统。只是有一次.他们偶然从Northpoint背后的公司那里获得了未来犯罪公式的基本信息。然而，该公司从未分享过具体的计算方法、他们坚称这些计算方法只为自身专有(Angwin et al.，2016)。

作为调节器的数据

数据设计过程当中法律的实施优先为哪些利益服务？人工智能系统的数据设计是否会增加法律的价值？不同法律框架之间的利益如何通过设计解决？

技术设计是一种能够用于保护或限制法律(Reidenberg，1997;Lessig。2006)的“调节器”。“作为调节器的数据”强调法律实施过程当中数据设计的作用以及法律在社会当中的落实。在理想情况之下·法律与技术设计能够相互补充，增加法律的价值。然而在现实当中.数据设计通常只是严格遵照法律要求，只有在少数情况下数据技术的某些特性才可能会与法律发生直接冲突。例如，人工智能的数据密度可能会直接挑战法律原则(如数据最小化、隐私与数据保护设计·或信息权和解释权)。数据设计当中不同利益相关方的利益也可能会与法律框架存在冲突·例如基本权利框架，其中个人数据利益首当其冲。举例来说，非民主国家主体的利益在于利用数据实现社会控制：某些公司的利益在于通过追踪并收集数据来强化它们的数据驱动型商业模式，而个人权利并不在其考虑范围；与之类似，科学家的利益可能在于运用大数据分析改善他们的研究。

第4章数据利益与数据文化

129

作为视觉的数据

人类能“看到”数据过程和它们的影响吗？数据设计看到了什么(训练数据)，然后感知到了什么(如何指导它对训练数据进行操作)？

视觉是数据设计中数据利益的能动性本身(我们能或者不能看到什么，以及我们如何看到它)。在理想情况之下，人类视线可以轻松地向外延伸。然而，毫不夸张地说，在一个基于数据的数字环境当中.我们用来观察与感知环境的仪器(我们的电子眼睛)已经深人数据设计环节，决定着我们实际能看到的东西的类别与多寡。

诚如前文所述，数据设计同样扮演着道德能动者的角色，因为它规定并控制着我们对于信息与数字化信息基础设施的参与情况。在数字系统当中，眼晴与视觉是一种隐喻式的存在。一方面，正如欧盟人工智能高级别专家组在《可信人工智能的伦理指南》当中所言·数据通常被描述为人工智能的传感系统①，基于该系统，人T智能形成自身行为模式；另一方面，数据也是我们人类个体的“眼睛”。例如，数据“为人工智能系统提供决策，涉及数据收集、数据标记及其算法方面的决策”(HIEGA，2019：18)。另外，这里使用的“透明度”这个概念通常指的也是其字面含义，表示我们能否清晰地看到数据流程以及这些流程是否能够被记录与追踪。然而，数据的“黑箱算法”(Pasquale，2015)处理往往会遮蔽我们的视线，导致我们无法真正了解人工智能系统。可以说，可见性管理———新兴技术环境的可见性结构——构成了一种社会组织与权力分配模式(Brighenti，2010;Flyverbom，2019)。什么是可见的、什么是不可见的，以及最重要的一点，谁被授权透过可见性社会组织去查看具体数据过程，这些都直接影响了社会中的利益能动性。作为人工智能技术的数据设计，电子眼正是这样进行权力分配的。为了说明这一点，我们可以想象这样一个用于分析人们所享受的社会福利方面数据的人工智能系统。该系统为公共机构的社会工作者提供了一个面板，面板上包括一般的数据统计、欺诈检测以及个人风险评估。这个面板就是我们在人工智能系统当中的眼晴。在这种情况之下，只有社会工作者的数据利益以及希望掌控公共资源和优化工作流程的公共机构的利益才能成为该系统的眼睛。同样，我们也可以思考一下其他类型的数据设计。在这些数据设计当中，享受社会福利的人们能够通过数据访问获得他们的电子眼，进而在系统中具备能动性。比如，添加数据或更正缺陷数据，或者针对提供给他们的服务进行个性化设置。

1 411 3.

权力的数据伦理学：大数据与人工智能时代的人本方法新解

①例如，欧盟人智能高级别专家组将人工智能的传感系统描述为：“通过数据获取感知外部环境。并能解设所收集到的结构化或非结构化数据，同时基了已有知识进行推理或处理信息、最终从数据当中得出实现既定目标的优化操作”(HLEGA.2019，36)。

130

作为风险的数据

数据设计对谁有风险？预防与管理确认性风险对谁有利？如何解决已知风险与人类在风险管理方面的利益(包括其对环境的责任)之间的冲突？

风险是当代政治、商业行为和公共话语当中普遍关注的问题。社会学家乌拉里希·贝克(UlrichBeck)在其开创性著作《风险社会》(1993)当中描述了人们对于风险预防与管理的关注，认为这是工业社会带来的不确定性，也是现代化进程的结果。在现代化社会当中，未知事物层出不穷，与日俱增(Beck，1993)。当谈及人们对“世界风险”日益担忧之时，他表示。“风险并不是·现实’、而只是有·变为现实'的可能性而已”(Beck，2014：81)。人们对于风险的担忧不仅表现为“对灾难的预测”、甚至将风险作为“即将到来的袭击、通货膨胀、新兴市场、战争或对公民自由的限制”来予以应对。要知道，人类描述风险的方式“其实预设了人类的决策，因为人类塑造着未来(的可能性、技术、现代化)”(Beck，2014：81)。

第4章数据利益与数据文化

131

人工智能数据当中充满了我们希望预防与管理的各种潜在风险。正如前面四个数据隐喻主题群所描述的那样：数据通常与社会资源、民主、法治以及能动性的风险管理有关，而这种管理通过可见性得以实现。不过，在“数据作为风险”的数据隐喻当中，数据本身就被看作是一种必须被预测并管理的风险。比如：犯罪分子可能会攻击并危害人工智能系统中的数据：数据可能会泄露：数据可能由于故意或意外而损坏(HLEGA，2019：16)；当数据集中在数据中心进行处理之时，其碳排量会对环境构成风险。如果我们仍然认为风险本身并不具有“真实性”，而是基于我们对于未来可能出现情况的预测，我们可能会同样认为：风险拟定管理与预防是出于某种利益与动机。就人工智能开发而言，训练人工智能技术的人工智能工程师会关注那些可能影响其训练数据质量与精确性的风险，而数据保护专员则需要通过风险数据保护影响评估来考查可能会对已知个体构成的风险。就人工智能部署与采用而言，个人同样会对“数据即风险”有所关注，以保护自身数据安全，防止被非法访问；而反恐情报专员的风险场景涉及针对恐怖活动的侦查，因此他们可能会认为端对端的数据设计加密是一种冒险的设计选择。不同的“数据即风险”场景往往受到多方利益的影响，因此不同的设计选择会受到这些利益的影响与制约。这些选择可能彼此一致，但也可能貌合神离。

文化数据利益

我们可以从最传统的利益相关团体角度来思考数据利益，该团体的利益体现在AISTIs与BDSTls当中所产生、处理与存储的数据。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

132

例如，多利益相关方的互联网治理倡议的目的在于确保将通常来自四个不同社区的利益相关方纳人其中，它们包括：政府、私营机构、民间社会团体以及技术社区。接下来，我将以一种不同的方式来分析这些利益。具体来说就是：试图去理解数据利益是如何以文化利益的形式跨越这些不同利益相关团体之间的边界。我这样做就是为了说明权力不仅仅是彼此相关的团体之间共同的利益表达。实际上，权力体现在一个复杂的意义制造系统、“风格”“世界观”以及我们将在本章中要探讨的“文化”当中。

下面我们将以21世纪10年代末期关于人工智能与数据政策的研讨当中的权力机制为例展开探究。该次研讨经常被看作是民间社会团体与行业利益相关方之间明显的利益冲突。来自欧盟人工智能伦理工作高级别专家组的一位专家成员在一家德国报纸的专栏文章中讨论了他们所代表的行业利益。据他所说，“专家组在业界有着举足轻重的影响力”，这直接导致了一套“温和、短视且模糊的”伦理指南的制定(Metzinger，2019)。然而、我自己也是专家组成员、并且有多年参与类似多利益相关方倡议的经验，我自己观察到一些不同的权力机制。尽管我也着实从一些讨论与专家组的工作细则当中注意到民间社会团体成员与某些行业从业者的传统利益存在冲突(关于这一点我将在后文阐述)，但我还发现了人工智能的“人本主义”方法当中出现了一种文化利益，以此回应我在前面章节中提到的关键社会时刻。这种利益跨越了不同利益相关团体的界限，并被称为“欧洲的第三条道路”：将文化利益作为该专家组的伦理指南以及欧盟委员会后续提出的人工智能政策的独特参照点，同时强调将欧洲基本权利法律框架作为其出发点(我将在后文中对此进行更为详细的分析)。这里，我的观点是：如果只看到传统的“利益相关团体”的利益，就很难发现嵌在治理过程当中的文化与利益的细微差别与复杂程度。正如前文所述，即便是在特定利益相关团体内部，不同的技术文化之间仍然存在权力纷争。例如，一家由大数据思维驱动的公司可能会与另一家由隐私设计理念驱动的公司之间产生直接冲突，后者的利益可能与支持数字权利的民间社会团体利益更为一致。这就是为什么我认为我们需要去探究更为普遍的权力协商与定位文化模式.往往正是这些文化模式促成了传统利益组织与其他利益相关团体(如工业界、民间社会、国家)之间的结盟。这也是为什么我认为传统的多利益相关方治理方法可能需要转为向“伦理治理”方法借力—需要把价值的阐释与协商看作是政策制定过程当中利益相关方包容性的一个重要组成部分。

第4章数据利益与数据文化

133

接下来，我们将以“数据伦理”为典型，展开对21世纪10年代在欧洲不同利益相关团体间形成的共享文化利益的探讨。2014年·哲学与媒体研究学者查尔斯·埃斯(CharlesEss)对文化如何在塑造我们对于数字技术的伦理思考过程当中发挥关键作用进行了阐释。他认为，西方社会在伦理上强调“个人是伦理反思与行为的关键能动者，这一观点被西方个人权利观念进一步强化”(CharlesEss：196)。类似的全球视野之下的文化地位在欧洲关于“数据伦理”的政治辩论当中同样有所体现。其中，当今时代的欧洲“内部民主”(Bauman，2000)以及相应的伦理对策被多次提及。例如，在布鲁寒尔的一场关于数据保护法律改革的辩论之中，欧洲议会的一名议员对于这一重大议题描述如下：

这一切关乎着人的尊严与隐私，关乎着我们欧洲文化深处对于人格的理解……它源于一般人权宣言。不幸的是，我们也曾历经战争、法西斯主义和极权主义社会等无比惨痛的历史。以史为鉴，方知隐私何其可贵。①

作为欧洲基本权利法律框架中的第一则条款，“人格尊严”是一条有着深厚历史与文化根源的伦理准则：一方面植根于极权主义政权的惨痛经验，另一方面植根于第二次世界大战时期欧洲对犹太人的残酷迫害。在21世纪10年代，前文提到的欧洲的“数据伦理协商空间”也属于文化维度上所做出的努力，旨在保护欧洲文化价值(如人的尊严与隐私)，并尽快将其导入技术发展之中(Hasselbalch，2020)。正如欧洲数据保护监管局(EDPS)在2015年的一份报告中所述：“特别是现在，在大规模采用人工智能技术之前，欧盟拥有一个窗口期’。我们要借此机会将价值构建到数字结构当中，这将重新定义我们的社会”(EDPS，2015：13)。欧洲“数据伦理公共政策倡议”(Hasselbalch，2019)正是对特定“文化价值”协商空间这一议题的关注。这些政策与决策制定者将自己定位为欧洲独特价值的捍卫者，负责对抗一种普遍存在的潜在威胁。人们普遍认为，这种威胁嵌在社会技术设计和商业行为之中，就像“破坏球”一样。正如一位欧洲议会主席曾在2016年的一次演讲中所说的那样、“这种威胁不仅仅是对社会组织方式的考验，而且是要破坏现有秩序，取而代之地构建新秩序”。①其中，嵌入技术设计与商业行为当中的价值成为一种新的权力形式。正如时任欧盟委员会司法总局基本权利和欧盟公民事务部主任保罗·纽伊茨(Paul Newitz)在 2017年一场公开辩论中声称：“这是对拥有权力的管理者的挑战。他们利用权力控制人们、利用权力控制数据。那么、他们的伦理依据是什么？他们灌输给员工的伦理思想是什么？是内部合规伦理？还是工程师伦理?”(Nemitz,2017)

权力的数据伦理学：大数据与人工智能时代的人本方法新解

①见欧洲议会议员辩论：条例有了！现在怎么办？[视频文件]hitps://www.youiube com/watch?v=28EtlacwsdE.

134

我之前提到的欧洲“人工智能的第三条道路”在21世纪10年代末发展成型，强调跨越欧洲不同利益相关方的共享文化价值。近十年来，人工智能在全球范围内越来越多地被嵌入应急处理、医疗保健、金融、安全、国防、法律、电子政务、交通和能源等私营和公共部门的基础设施当中。在发展人工智能生态系统的全球资本投入方面，美国处于领先地位，中国也正在迅速跟进(Merz、2019；Lapenta，2021)。因此，在21世纪10年代末，欧盟决策者们逐渐意识到，人工智能已然成为一个重要战略领域，人工智能正在重塑各行业的关键基础设施，成为经济发展的重要动力来源。在《经过设计的文化》(Hasselbalch，2020)一文当中，我描述了“欧盟人工智能议程”的制度框架通过强调“合乎伦理的技术”与“可信人工智能”在全球市场上形成独特文化定位。具体描述如下(此处根据原文改编和修订)：

第4章数据利益与数据文化

①见技术极权1:义、政治'比E(Martun Schultz、2016- 3- 03) https://www. youtube com/watch?v≈ We51)yl(4szM.

135