人工智能政治哲学

人工智能政治哲学

114

要了解人工智能与极权主义之间的关系，意味着我们不仅要关注人们的意图和动机（可能是好的、坏的——例如，意图操纵他人以攫取权力；或平庸的——例如，在人工智能公司以数据科学家为职业)，而且也要考虑非预期性的后果以及只是做好本职工作会如何导致这些后果。通常，偏见并不是有意造成的。例如，某个开发人员和数据科学家团队极有可能无意增加社会中的偏见。但是，在更大的公司或政府组织中工作，他们可能就会这样做。虽然可能有少数人（在科技公司或其他地方）怀有不良意图，但一般情况下并非如此；相反，只是做好本职工作和服从权威可能会导致偏见的产生或扩散。从阿伦特的角度来看，坏或恶在于不质疑、不思考，只是做自己应该做的事。它存在于人们在日常技术实践和相关等级结构中履行“职责”的平庸之中。恶就恶在顺从规则的那一刻，为了避免糟糕或邪恶的结果，就必须不顺从规则。或者从政治角度讲：当抵抗是正确的事情时，邪恶就在不抵抗的那一刻。

抵抗不仅在极权主义统治下非常重要，在民主社会中同样非常重要。在某种程度上，法律框架本身就包含了不服从的可能性。

第四章 民主：回音室与机器极权主义

115

正如希尔德布兰特（Hildebrandt 2015）所言，“不服从和可质疑性是在一个法治民主政体中的法律的标志”。在法治民主政体中，公民可以对规范及其适用提出质疑。但是，与阿伦特一样，我们可以进一步提出一个更具争议性的观点，即无论（法院）法律怎么规定，出于道德和政治原因，抵抗都是合理的，也是必要的。无论如何，阿伦特关于盲目遵守规则和命令是危险的和有道德问题的这一观点，在民主政体中也是适用的。

与此相关的一个论点是缺乏思考。受《艾希曼在耶路撒冷》的启发，麦奎兰（McQuillan2019）认为，由于人工智能为人们提供了“风险的经验性排序，而人们却无从质疑其推导过程”，因此该技术“鼓励了汉娜·阿伦特所描述的那种缺乏思考的行为：无法对指令进行批判，缺乏对后果的反思，一味相信正在执行正确的命令”(165)。人工智能所使用的统计方法的危险还在于，只要它是以历史数据为基础，我们就会得到更多相同的东西，我们就会停留在旧的状态。阿伦特在《人的境况》（1958）中写道：

新事物的出现总是与统计规律及其概率的压倒性优势背道而驰，而统计规律及其概率对于所有实用的日常目的来说都相当于确定性；因此，新事物总是以一种奇迹的面目出现。人具有行动能力的事实意味着，可以在他那里期待着意想不到的事情，即他能够去展现无限不可能的事情。

人工智能政治哲学

116

虽然麦奎兰看待人工智能的方式听起来过于确定，并且没有必要假设人类和技术之间存在严格对立的风险（人类也发挥着作用)，但人工智能的特定用途—即人工智能与人类的特定组合—存在着一种重大危险，即它有助于形成极权主义得以发展壮大的条件。

关于条件这一点很重要。为了避免人工智能极权主义（并维护民主)，仅仅指出科技公司和政府组织中人们的责任并要求他们应该改进技术设计和数据等等是不够的。还必须提出这样的问题：可以创造什么样的社会环境来支持人们履行这一责任，并且当人们认为进行抵抗是正确的做法时，如何让他们更容易质疑、批评甚至抵抗？可以设置哪些障碍来阻止从民主到极权的转变？我们又该如何创造条件让民主蓬勃发展？

当然，这些问题的答案取决于民主（和政治）的理想；在本章中，我已经概述了其中一些理想以及它们之间的紧张关系。但是，我们还需要做更多的工作，去挖掘使民主发挥作用的条件。在这方面，哲学和科学（以及艺术）可以进行合作。例如，受米森（Miessen）和里特（Ritt）（2019）关于右翼民粹主义空间政治的论文集的启发，我们可以问一问民主的空间和物质条件。什么样的空间有利于民主协商？人工智能可以创造什么样的空间？人工智能如何帮助为民主创建良好的架构，无论是从字面上还是从隐喻上？我们需要什么样的广场（agora）和公共空间，不仅在概念上，而且在具体内容、物质和空间上？政治和社会与物质性人造物之间的关系又是什么？例如，我曾在其他地方（Coeckelbergh2009a）提出过“人造物的政治”（politics of artifacts）的含义：我质疑阿伦特在《人的境况》中以人类为中心的政体的定义，该定义假定了人与人造物之间的严格区别，但我强调政治事件的重要性（她在序言中提到了人造卫星的发射)，并重拾了这样一个观点，即对于公共领域而言我们需要一个将我们聚集在一起的共同世界，或许在某种程度上包括一个“事物的共同体”(communityof things)(Arendt 1958，52-55)。在第六章中，我将进一步讨论将非人类纳入政治领域的想法以及这种混合性（hybridity）在政治中的角色。更一般地说，我们需要更多地了解政治和社会与知识、空间和物质技术之间的确切关系。我们需要根据新技术和技术环境来思考民主的条件和公共领域的建设。

第四章 民主：回音室与机器极权主义

117

政治哲学和技术哲学可以为这一计划作出的贡献是，将权力及其与技术的关系概念化——后者理解得更少。如果我们想更好地理解我们正在共同做什么，以及在人工智能等技术的影响下我们可以共同做什么（不仅是危险，还有机遇），我们就需要理解权力是如何运作的，以及它与知识和技术的关系。这就是下一章的主题。

人工智能政治哲学

118

第五章 权力：通过数据的监控与（自我）规训

导言：作为政治哲学主题的权力

谈论政治的一种方式是使用权力的概念。权力通常被视为负面的，或作为事物真实情况的描述，而非理想。例如，权力被用来回应那些捍卫自由民主的协商式和参与式理想的人。再看杜威的参与式民主理想，批评者认为，这一理想是天真的，因为它避而不谈冲突和权力。特别是，它被认为对普通公民明智地进行判断和行动的能力以及达成共识的机会过于乐观，从而忽视了希尔德雷思（Hildreth2009）所说的“人性中的黑暗力量，包括对权力的渴求以及为了自身利益而操纵社会关系的意愿”。在杜威之后不久，米尔斯（Mills）在《权力精英》(The Power Elite)(1956)一书中写道，美国社会被企业、军队和政府中的人所统治，这些人“掌控着现代社会的主要阶层和组织”，并能获得其中的权力和财富。参与式民主的捍卫者可能会想象，公民通过多个自愿协会进行负责任的监督，这些协会能够将辩论的公众与决策的顶层联系起来，然而米尔斯看到的却是一个由精英运行的“有组织的不负责任的体系”。杜威所想象的公共问题解决方式在大范围内是行不通的。政治需要争夺权力，不能以解决问题的科学模式为蓝本。杜威忽视了权力在社会中是如何分配的，也忽视了社会的严重分化。正如我们在上一章中看到的，这种批评也与墨菲和朗西埃的观点一致，只不过他们提议把权力当作非共识和论争主义来进行检视。而马克思主义质疑社会阶级之间的权力分配，强调资本如何将权力赋予拥有资本的人。在这两种情况下，权力都与斗争联系在一起，其在特定条件下可以得到有效使用。

119

权力与理想对立的另一个例子与人工智能直接相关，是权力与同意的自由（freedom as consent)。在美国和欧洲，点击同意某个互联网平台的服务条款——包括其数据处理政策，进而同意人工智能的工作方式——是为了保护消费者的权利，包括他们的自由。然而，正如比蒂（Bietti2020）所言，这种监管手段未能考虑到这些个人同意行为发生的不公正背景条件和权力结构。如果权力失衡“影响了作出同意决定的环境”，那么同意就是一个“空洞的杜撰”。权力还被视为对真理的威胁（Lukes 2019）和具有潜在的欺骗性。权力可用于胁迫，例如在极权国家中。但它也可以采取各种形式的操纵，这威胁着理性和批判能力的发展。当你一直处于竞争环境中，没有时间放慢脚步时，思考也会变得困难(Berardi 2017)。因此，权力被视为思考本身的敌人。

人工智能政治哲学

120

然而，权力并不一定是坏事。福柯提出了一种有影响力的、更复杂的权力观。受尼采（Nietzsche）的启发，福柯（1981，93-94）从权力特别是力量关系的角度对社会进行了概念化。但他的观点与马克思主义大相径庭。他不是自上而下地从集中化的主权及其统治者或精英的权力角度来分析权力，而是提出了一种自下而上的方法，从权力的微观机制和运作入手，这些机制和运作建构了主体，产生了特定类型的身体，并渗透到社会的方方面面。他分析了监狱和医院中这些权力的微观机制。福柯（1980）没有将权力与霍布斯思想中的中央专制君主利维坦的首脑联系起来，而是关注权力的多元性和身体：关注“由于权力的影响而成为边缘主体的无数身体”以及权力的“微小机制”。权力是在社会实体中施行的，“而不是在它之上来施行”；它通过社会实体进行“流动”。此外，福柯感兴趣的是权力如何“深入到个人的纹理之中，触及他们的身体，并将它自身植入他们的行动和态度、他们的话语、学习过程和日常生活之中”。个人不仅是权力的施力点；相反，他们同时实施权力和承受权力；他们是“权力的载体，而不是权力的应用点”。个人是权力的产物。

这些不同的权力观对人工智能政治意味着什么？人工智能是否被那些操纵社会关系为自己谋利并欺骗我们的人所利用？它又是如何与福柯所描述的权力微观机制相互作用的？人工智能建构了什么样的个人、主体和身体？在本章中，我将提出这些问题，并将政治和社会权力理论应用于人工智能。首先，我将使用萨塔罗夫提出的关于权力与技术的总体概念框架，以区分人工智能可能影响权力的各种方式。然后，我将借鉴三种权力理论来阐述人工智能与权力之间的某些关系，即马克思主义和批判理论、福柯和巴特勒，以及我在自己的作品中提出的以表演为导向的方法。最后，我将得出一个结论，即我所称的“人工权力（artificialpower）”(本书最初的书名)。

第五章 权力：通过数据的监控与（自我）规训

121

权力与人工智能：一个总体概念框架

政治与技术的关系是当代技术哲学中一个众所周知的主题。温纳（1980）的研究表明，技术可能会产生意想不到的政治后果，而芬伯格（1991）的技术批判理论不仅受到马克思和批判理论（尤其是马尔库塞）的启发，而且以经验为导向。然而，虽然在其他领域（如文化研究、性别研究、后人类主义等领域），人们对权力有着浓厚的兴趣，但在技术哲学领域，却鲜有对这一主题进行系统的哲学处理和概述。在计算伦理学中，有关于算法权力的研究（Lash 2007；Yeung 2016)，但几十年来一直缺乏一个思考权力与技术的系统性框架。萨塔罗夫的《权力与技术》(Power andTechnology)(2019）是一个例外，该书区分了不同的权力观念并将其应用于技术。虽然他的贡献主要面向技术伦理学，而非技术政治哲学，但对分析人工智能与权力之间的关系很有帮助。

萨塔罗夫区分了四种权力观念。第一种观念，他称之为情景性（episodic），指的是一个行为者通过引诱、胁迫或操纵等手段对另一个行为者行使权力的关系。第二种观念将权力定义为一种配置（disposition）：一种能力、才干或潜能。第三种是系统性观念，将权力视为社会和政治体制（institutions）的一种属性。第四种观念认为权力构成或产生了（constituting or producing）社会行动者本身（Sattarov2019，100）。因此，后两种观念更具结构性，而前两种观念则与行动者及其行动有关（13）。

人工智能政治哲学

122

按照萨塔罗夫的观点，我们可以将这些不同的权力观念映射到权力与技术之间的关系上。首先，技术可以（帮助）引诱、胁迫、强迫或操纵人们，也可以用来行使权力。我们也可以说，这种权力委托给了技术，或者——套用技术后现象学（postphenomenology oftechnology）中常用的一个概念——技术的媒介作用。例如，在线广告可以引诱用户访问某个网站，减速带可以迫使司机减速，而技术也可以进行操纵。技术可以“助推”：它可以改变选择结构，使人们更有可能以某种方式行事，而自己却浑然不觉（另见第二章）。其次，技术可以赋予人们力量，即提高他们的能力和行动潜力；技术可以增强能力。正如乔纳斯（Jonas1984）所言：技术赋予了人类巨大的力量。考虑一下“人类世”（Anthropocene）的概念：人类作为一个整体已经成为一种地质力（geological force，Crutzen2006）。人类获得了一种超能动力，改变了整个地球表面（另见下一章)。第三，说到体制性权力，我们可以看到技术如何支持特定的体制和意识形态。例如，从马克思的观点来看，技术可以支持资本主义的发展。这里的权力与个人行为无关；相反，它蕴含在特定的政治、经济或社会体制中，而技术为该体制作出了贡献。例如，大众媒体建构了公众舆论。社交媒体也是如此，它可能支持特定的政治经济体制（如资本主义）。最后，如果权力不仅是个人拥有或行使的东西，也不仅是应用于个人的东西，而是福柯所主张的是主体、自我和身份的构成，那么技术就可以用来建构这样的主体、自我和身份。通常情况下，技术开发者和使用者都无意这样做，但这种情况还是有可能发生。例如，社交媒体可能会建构你的身份，即使你没有意识到这一点。

第五章 权力：通过数据的监控与（自我）规训

123