权力的数据伦理学大数据与人工智能时代的人本方法新解

弗兰克·帕斯奎尔(FrankPasquale，2015)同样关注使用自动化流程对于风险评估与机会分配的影响。他解释了复杂算法如何被用于研发与部署·以维持一个“黑箱社会”。其中，算法数据过程被刻意作为商业机密隐藏起来。以维护强大行业的信息垄断地位。这些行业利益还授权计算机在没有人类干预的情况下制定决策。

另一个关于采用人工智能系统权力关系的著名案例是由新闻网站 Probublica 发布的“机器偏见”研究(Angwin et al.，2016)。其中，调查记者朱莉亚·安格温(Julia Angwin)与一个由记者及数据科学家组成的团队一起对私人公司Northpoint的COMPAS算法进行了研究。该算法被美国司法系统用于针对被告进行风险评佔，并预测罪犯释放之后再次犯罪的可能性。他们发现该算法当中存在一种偏见，它将黑人被告归为再犯者的频率高达白人被告的两倍之多。此外·它将白人被告归类为低风险被告的次数高于黑人被告。

萨菲娅·乌莫加·诺布尔(2018)用“压迫性”一同来形容谷歌算法搜索架构的权力(“压迫算法”)。正如她在研究中所说的那样，当它们在性别化与歧视性搜索结果当中复制偏见(如对非裔美国女孩持有偏见)之时，就强化了社会当中的这种偏见。当它们作为现实的自然客观反映被呈现和接受之时，其本身也是在传递偏见。

在有些社会当中，人类能动者(例如，使用风险评估工具的研发人员或法官)和非人类能动者(工具的数据设计)中的道德能动性产生了伦理影响的。在这个社会之中，审查并揭示算法的潜在歧视能动性至关重要。我们甚至可以利用批判性应用的伦理学方法，以减轻某些工具的机器学习模型数据处理当中的偏见。例如，莱尔与奥姆提出对歧视性机器学习模型的“数据操控”阶段干预方法。比如，通过检查模型促进训练数据中差异转化为预测差异的方式.有意为少数群体生成模糊的预测规则(Lehrand Ohm，2017:704)。然而，只有当我们可以追踪算法的真实数据处理过程之时，才能做到这一点。米特尔施泰特等人(2016)认为，由于算法的数据处理以及人类识别和(或)纠正算法的数据设计能力(如意识和教育)日益复杂、算法的可溯性也变得更差。此外，关于这一点还存在另外的审视角度。鉴于算法作为Northpoint背后私人公司的专有产权受到保护、安格温及其同事(2016)不得不在没有进入COMPAS软件“操控数据”阶段(Lehr and(hm、2017)的情况下、为“机器偏见”研究提供证据。然而，他们对于这一系统的批评因其背后私人公司的商业利益而变得复杂。因此、他们只能通过比较不同的数据集与公共记录请求(Larson et al.,2016)来研究其“运行模式”(Lehr and (Ohm，2017)。这种社会技术工具的不可访问性和“自主性”、由人类以公司利益的方式来强制实施，这本身就是一个伦理缺陷。因此，这不仅仅是技术复杂性与人类教育和能力的问题、也是社会权力关系以法律保护或自由形式运行的结果。因此，缺乏可溯性不能被简化为技术复杂的自主道德能动者与人类个体能力之间的冲突。正如帕斯尔在“道德机器”案例研究中所说明的那样，一般的社会权力关系与利益就是通过附止对运行模式数据设计过程的访间，使得对其审查与干预变得复杂难行。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

106

人工智能政策中的数据伦理治理

对于政策制定者而育。“数据伦理治理”可以发挥什么作用呢？帮助他们解决人工智能问题吗？这一点在本书第一部分已经有所提及，本章当中我们将对此进一步展开论述，我们需要解决社会技术系统中本然的复杂性.以便为其提供指导。“人工智能伦理”本质上属于一种应用于人工智能系统设计的方法，这一点将引领我们踏上这个问题的解决之路。然而，仅仅改变人工智能设计并不会改变社会技术发展方向。我们需要做的是在错综复杂的人类社会的权力与利益背景之下，关注人工智能的分布式道德能动性。

第3章大数据人工智能社会技术基础设施

107

在本章当中.我将人工智能系统自主性看作是一个需要解决的伦理问题。随后，我探究了人类对于人工智能研发和应用的干预程度，并将其作为应用“人工智能伦理”方法之时需要考虑的一个关键因素。我还特别关注了人工智能的数据处理问题。通过对人工智能的自主性水平以及人类在人工智能中的干预程度研究，我发现这两个问题可以在人工智能研发的微观环境当中得以解决。另外，我还在人类社会权力机制的宏观层面上考察了人工智能系统自主性——人工智能自主性与人类权力水平由社会中不同利益博弈所决定。基于以上研究，我们现在可以看一下与“数据伦理治理”相关的例子。这些治理手段可能有助于形成具体的公共政策提案与举措，从而解决人工智能自主水平以及其中牵涉的人类权力等问题。

“捍卫人类权力”的法律框架

帕斯奎尔在他的《黑箱社会》(2015)一书中提出，法律框架是为他所描述的“显式社会”而建立的。在这个社会当中，决策过程总是让所有参与其中的人类——无论在技术、组织还是社会层面——都能充分理解意欲何为。这就需要他所说的“人性化过程”(Pasquale，2015：198)来辅助实现——创立公司并进行决策实践，将“人类判断”与干预纳入自动化决策过程中来(Pasquale，2015：197)。帕斯令尔提供了一些具体的实施方案。例如，当人类专家对于一项技术的理解不充分之时，可以告知政策制定者(Pasquale，2015：197)。然而，正如他后来在2020年出版的关于机器人法则的书中所阐述的那样：我们真正需要的是一套“捍卫人工智能时代背景下人类专长”的通用框架(Pasquale，

权力的数据伦理学：大数据与人工智能时代的人本方法新解

108

2020)。这里，我们想到了21世纪10年代欧洲制定的具体立法框架的例子。正如我在前面所言，《通用数据保护条例》第22条关于自动化个人决策与用户画像的法律规定(《通用数据保护条例》.[EU]2016/679)，就是为了确保此类系统当中的“人类因素”。在2020年，欧盟委员会进一步公布了《数据治理法案》(DGA)、《数据服务法案》(DSA)和《数据市场法案》(DMA)这3个提案，总体目标在于限制大型网络平台的权力，或者也可以将之称为“守门员”①。例如，《数据治理法案》呼吁投资并支持可信的“数据中介”(即数据信托和管理模式)发展。以平衡大型大数据网络平台与个人之间的数据不对称关系。另一方面《数据服务法案》强调了在自动内容审核与数据访问方面的保障措施，以针对大型网络平台人工智能系统进行外部审查与风险评估。

以自下而上的治理方法实现人工智能系统中的人类干预

《通用数据保护条例》以及2020年拟议的《数据治理法案》《数据服务法案》和《数据市场法案》等监管框架作为自上而下的要求对于人工智能研用发挥了重要作用。同时、其他自下而上的治理方法也可以实现人1智能研发、应用当中的人类干预。例如、公共机构可以战略性地利用公共采购来鼓励具有高水平人类干预的人工智能系统发展(Hasselbalch，()lsen and Tranberg.2020)。政府j政府间的投资计划可以支持那些凭借伦理维度上的创意、产品与服务而在全球市场上脱颖向出的初创企业。在设计研发等微观层面，工程师与研发人员需要利用些1具方法在其算法与机器学习模型当中加入人类干预的成分，例如“人机协同”方法(Zanzotto，2019)、可解释性与可追溯性技术((ilpinetal.，2018)、匿名化技术(Augusto etal.,2019)以及风险验证、确认j评佔I.其(Menzies andPecheur，2005)。为了实现这一点，可以实施培训计划来提高开发人员的能力与意识，并且指定允许共享的技术工程标准。

第3章大数据人工智能社会技术基础设施

①见欧盟委员会的《数据服务法案》揽子计划(2020年12月)和《数据治理法案》(2020年11月).

109

总而言之·诚如这些例子所示，在上述政策背景之下，人工智能“数据伦理治理”不仅仅是发现并限制人工智能设计本身的道德能动性与伦理影响。而且，它意味着要将人类与非人类能动者的分布式道德能动性涵括在整个环节当中。

人工智能的数据伦理影响

适合于AISTIs管理的权力数据伦理必须包括AISTIs的特殊权力机制。在结束本章之前，让我们一起思考一下AISTIs的特定权力与数据伦理影响。我们知道，尽管与传统基础设施不同、但就像桥梁、街道、公园、铁路和航空一样·存储处理大数据的人工智能系统的计算机硬件与软件嵌入我们的社会当中，构成了我们的空间环境。例如，道路与桥梁是构成社会的基础物质架构，能够方便或限制人们出行。然而，在映射与表达人类动机、道德与社会法律方面·它们可以说是相对被动。相反，AISTIs改变了空间的客观物理属性。确切地说，它们将空间转化为相互关联的数字数据。例如。“地理人工智能”(GeoAI)(Krzysztof et al..2020)就是这样一个用来描述人T.智能系统与地理信息的集合的术语。该系统基于包含地理参考信息的数据[GPS轨迹，遥感图像，基于位置的社交媒体，建筑物、道路和邮件包裹的空间足迹，全球海拔数据，土地利用和土地覆盖数据，人口分布等(Hu et al..2019：2)]开展相关分析。

然而，AISTIs不仅仅是物理空间的数字数据延伸。问顾拉彭塔对于21世纪“地理媒介”的描述(Lapenta，2011)，我们发现AISTIs基于个人数据处理可以允许或拒绝人们的访问，也可以把我们锁定在特定的位置之上，这就构成了一种中介空间，将人体、社会和个人经验、物理空间与位置合并为互相关联的数字数据。在将它们整合到虚拟基础设施设计好的空间架构中时，模糊了它们之间彼此的界限。通过这种方式，AISTIs就可以作为“新的组织与监管系统”来整合并组织社会互动(Lapenta，2011：21)。

l

权力的数据伦理学：大数据与人工智能时代的人本方法新解

110

“地理媒介”形成了我们日常生活空间与中介数据空间的融合。相关应用包括导航工具，如谷歌地图与其他基于地理位置的相关服务，如Uber和Lyft的拼车服务。另外还包括“地理空间情报系统”(Sentient)，在撰写本书之时，它正在由美国情报部门出资进行研发。其理念是：基于世界卫星图像信息，利用时间与位置信息整合所有数据.最终助力美国军事与情报部门实现即时性全方位人工智能分析与战略发展(Scoles、2019)。

可以说.AISTIs是积极的基础设施实践者。它们根据所学辅助自我感知、学习与行动.并基于相互关联的大数据环境自主或半自主地进化升级。通过自主决策行为、它们积极地塑造着自己所在的空间。我想在这里说的最重要的是.AISTIs因此也积极地参与改变着人类伦理体验与批判性实践的结构。也就是说，它们构成了一种伦理体验。列斐伏尔将这种空间构造描述为不仅具有“存在性”，而且具有“体验性”。它是由身体的运动及其对边界与方向感知而得以界定。他将其称为一种“具身体验”(1efebvre.1974/1992：40)。也就是说。正如我在本书第-部分所描述的那样，空间兼具物理性与社会性。但更重要的是，它具有人类生活性与体验性。

按照这种思路来看，我们也可以认为AISTls是积极的自我生产空间·它放大了我们对于特定科学、意识形态和审美范式的体验。正如历史学家保罗·爱德华兹(PaulN.Edwards)所言、AISTIs体现了现实生活中控制与秩序的现代性(Edwards，2002：191)。例如，想想亚马逊21世纪10年代部署在其仓库当中的自动化追踪与终止系统、它们由亚马逊员工亲门体验、他们被催促养将打包“速率”提升至每小时上百件(1.echer、2019-4-25)：“亚马逊的系统跟踪每个员工的生产率，并根据其质量或生产力自动生成警告或解雇指令”①。或者想想印度安得拉邦学区中学生的经历。在那里，微软公司的Azure机器学习系统被用来识别那些存在辍学风险的学生。据报道，在2018年，该人工智能工具基于对性别、社会经济人口统计、学业成绩、学校基础设施和教师技能等数据的预测分析，识别出19500名具有高辍学风险的学生(Surur，2018)。

第3章大数据人工智能社会技术基础设施

①从Verge 获得的文件：https:/ile/16190209/amazon\_terminations\_documents.pdf.

111

总之，借助大数据我们创造出了一个可量化、可预估的空间，而且它可以随时发挥作用。借助人工智能，我们创造出了一个能动者，其充当着大数据基础设施的首脑，而且恰恰就是这一能动者将被用于应对未来机遇与风险。因此，AISTIs不仅能创建空间，它们还是“命运机器”(Hasselbalch，2015)，通过利用过去(大数据存储库)来作用于个人与社会，其唯一目的就是控制并且具化现实与未来，使之成为系统设计边界之内的有用之物，而系统设计是由系统数据当中的不同利益博弈所决定的。

换言之，AISTIs是通过大数据流相互关联的时空架构，其在世界当中的能动性被一种看似随机的数据互联性所赋予，正是这种互联性告诉了我们每个人在更大架构当中所处的位置。然而，这是一种不涉及人类意向的能动性，它对我们每个人真正想实现的日标或我们集体应该实现的目标寡然无趣。AISTIs为我们提供了类似于“全能”侦探德克·金特里(Dirk Gently)那样的能动性。他说过。“我还没到达目的地，不过也许此处就是我该安身立命之所”①。德克接受了自己在宇宙中相互关联的事物中的位置，而这些事物一次又一次地把他带到了跨越时间且毫无意义的地方。最终，他以任何人、甚至是他自己都完全无法理解的方式解开了谜团。在这一过程当中，他没有怀疑，也没有携带任何意向，因为他知道宇宙终将永远把他带到自己该去的地方。就其本身而言，这就是AISTls对于人类权力能动性的核心伦理挑战。

权力的数据伦理学：大数据与人工智能时代的人本方法新解

①摘自道格拉斯·亚当斯(Douglas Adams)的《灵魂漫长而黑暗的茶点时间》(1988)。

112

数据利益与数据文化

请换一种方式告诉我你在从事科技行业。

——特威特(Tweet,2021)

在为本书做研究并且积极参与“数据伦理”与“可信”人工智能政策和倡导者社区当中之时，我遇到了许多人工智能开发者，他们正在研究所谓的“伦理人工智能”解决方案。然而，我发现大家对于人工智能数据的伦理处理方式的理解可谓“人心不同·各如其面”。一些出于社会目的研发人工智能的开发者可能认为仅用部分数据“不符合伦理”；而另一方面，一些人工智能开发者则主张更严格的隐私保护规范，并相应地在人工智能开发当中确保数据使用最小化。尽管从表面上看·他们共同参与了“伦理人工智能”运动，但他们仍然没有形成一个共同的概念框架·将其用于解决技术开发当中不同数据利益之间的冲突。在我看来，他们代表了不同的数据文化，在数据方面有着不同的价值与利益诉求，并在不同的——有时可能冲突的—意义概念地图当中有所探索。

总之，在与人工智能开发者的交流过程当中，我发现，在数据密集型技术的开发过程之中，始终难逃诸多数据利益的左右。

正如我采访的一位人工智能开发者(她同意我在此引用)向我解释的那样：“人工智能对于数据有着极度的渴求。因此当我们构建一些东西之时，我们同时也会想：哪些应用程序接口(API)可以为我所用。谷歌、必应(Bing)、亚马逊提供的应用程序接口，我能从哪个当中获得数据并拿来即用……”

然而，她也担心自己这些云共享数据的安全性：“我们只知道它们具有数据安全的隐私政策，但我们却对具体条款一无所知。说实话，我的确不知道。”面对她的担忧，我进一步追问她作为一名人工智能开发者使用这些平台的好处。她问答说：“这些平台具有良好的硬件，在这些平台上运行程序可比在我的电脑上要快得多，因此我获得了速度红利。”

114

通过这种方式·她在用户、云服务提供商与人工智能模型的数据利益之间进行权衡，并做出了设计选择。访谈过程当中，她还回忆起一个案例：一个特定职业群体的数据利益最终战胜了一个企业客户的数据利益。具体情况是这样的：作为开发者，她想要将员工的业绩数据用于其正在为客户设计的人工智能系统之中。然而，她不得不与保护员工利益的行业工会进行协商、因为从这些数据当中可以推断出个别员工的业绩表现。当被问及工会是如何介入之时，她透露了另一种基于数据利益之间博弈与权衡的设计选择：“为了使用员工相关数据，我们需要与工会开展协商，最终我们放弃了这种设计选择。”

为什么一个数据设计师在考虑所研发的技术数据设计当中的不同利益之时，会做出她这样的选择呢？她的文化环境起到了什么作用呢？在这一章中，我们将尝试去理解并研究社会技术基础设施(如AISTls)的技术组件(意义制造文化系统当中实现利益表达的物质形式)的微观环境。我认为：理解这种意义的文化组织对于社会技术变革中复杂的“伦理治理”至关重要。因为共享意义的文化概念地图将使我们能够在共同理念与目标指引下采取行动。

在前面的章节，我们将社会技术变革形态看成是人类和非人类因素的复合体，这些因素共同体现在社会技术的设计、采用、使用与治理之中。然而，正如我将在本章继续论述的那样，它们并不是被任意地连在一起。相反，社会技术变革是由政治与文化制造而来，这就意味着它不是“中立的”或者“自然的”，而是嵌入了某种利益。准确来讲，这种变革其至不能用“它”来形容，正如在“伦理人工智能”设计运动的例子当中所说明的那样、应该用“许多”来形容：许多嵌入的利益、许多固有的文化，许多世界观、优先事项和概念框架，或和谐共存，或互相冲突。这也就意味着，使变革得以巩固的“技术动量”(Hughes，1983，1987)来自上述多个方面文化利益之间的相互妥协与博弈。

第4章数据利益与数据文化

115