人工智能政治哲学

这对于思考权力和人工智能意味着什么呢？

第一，人工智能可以引诱、胁迫或操纵，例如通过社交媒体和推荐系统。与一般算法一样（Sattarov 2019)，人工智能可以被设计用来改变用户的态度和行为。在不使用强制手段的情况下，人工智能可以通过引诱和操纵人们，发挥“说服技术”（persuasivetechnology)(Fogg 2003）的作用。声破天等音乐推荐系统或亚马逊等网站旨在通过改变决策环境来引导人们的收听或购买行为（另见前述章节），例如暗示其他有类似阅读品味的人购买了x和y书籍。脸书帖子的顺序由算法决定，例如算法可以通过“传染”（contagion）过程影响用户的感受（Papacharissi 2015）。个人根据相似的兴趣和行为被归类，这可能会复制社会偏见并重申旧有的权力结构（Bartoletti 2020)。人们还被动态定价和其他“个性化”技术操纵，其利用了个人决策的弱点，包括众所周知的偏见(Susser，Roessler，and Nissenbaum 2019，12)。与所有形式的操纵一样，人们在不知不觉中受到影响而以某种方式行事。正如我们所看到的，这种对个人决策的隐蔽影响威胁到了自由，即个人自主。只要出现这种情况，我们就不再能控制自己的选择了，甚至不了解这种情况是如何发生的。根据自主的现代观念，我们是或应该是原子化的和理性的个体，虽然这一观念并不充分并受到了西方主流哲学的批评（参见，例如 Christman 2004 和 Westlund2009关于关系性自主的讨论)，但即使作为社会人和关系人，我们也希望对自己的决定和生活有一定的控制权，我们不希望被操纵。就权力而言，上述人工智能的引诱和操纵形式（甚至更多地）将权力平衡转移给了那些收集、拥有我们数据并将其货币化的人。此外，社会中的特殊群体（如种族主义群体）可能会试图通过操纵社交媒体上的人们来获得权力。

人工智能政治哲学

124

第二，人工智能可以增强人们的个人能力。例如，自然语言处理有助于翻译，从而为个人开辟了新的可能性（同时也带来了一些问题，如去技能化和对隐私的威胁）。但是，人工智能也增加了人类和非人类对他人行使权力的可能性，最终增加了人类对自然环境和地球的权力。例如，看看搜索引擎和社交媒体，那些以前无法获得巨额数量和带宽信息的个人可能被赋予了权力，而这些人可能在传统媒体中并没有发言权。与此同时，这些搜索引擎和提供搜索引擎的公司也被赋予了很大的权力：它们左右着信息流，因此扮演着所谓的“守门人”（gatekeeper）角色。此外，这些公司及其算法还使用个性化技术：它们“按个人筛选信息”，这就引入了人为和技术的偏见（Bozdag 2013，1）。这种“守门人”角色和这些偏见会对民主和多样性产生影响（Granka 2010）。正如我们在第三章中所看到的，在权力方面，人工智能服务于某些人的利益，而不是其他人的利益。人工智能也可用于国家层面实现监控和为专制所用。它为政府及其情报机构提供了新的监控手段和能力。有时，国家和私营公司会联手提高这些能力。企业技术部门对公民的生活了如指掌（Couldry and Meijas 2019，13)。即使是自由民主国家也在安装人脸识别系统，使用预测性警务，并在边境使用人工智能工具。这里存在着萨特拉（2020，4）所说的一种新形式的“算法治理”将命令“普遍的人类行动”的风险。此外，人工智能还增强了整个人类的能力，这可能会对动物等非人类和自然环境造成影响。如果在“人类世”的背景下，人工智能进一步增强了人类干预和改造自然的能力，那么它就进一步支持了权力的持续转移：从非人类到人类的转移。人工智能有助于从地球上开采自然资源，以及人工智能技术本身的能源消耗（见第六章)，但反过来其也需要使用自然资源。人工智能赋予人类权力，在个人层面可能是一种赋权，但对非人类的自然界可能会产生巨大影响，因为人类开采和改造地球的权力增加了：科学知识和技术被用来控制自然界。在下一章中，我将详细阐述人工智能政治和权力在这些非人类和地球方面的作用。

第五章 权力：通过数据的监控与（自我）规训

125

第三，人工智能可以支持新自由主义、资本主义、专制主义以及其他体制和意识形态。人工智能相关的软件和硬件系统“构成了更广泛的社会、经济和政治制度现实的一部分”(Sattarov2019，102)，其中包括社会经济体制和意识形态。这些更大的体制会影响技术的发展，例如通过创造人工智能的投资环境，但技术也可能有助于维护这些体制。例如，戴尔-维特福德、克约森和斯坦霍夫（2019）声称，人工智能是一种资本工具，因此会带来剥削，并使权力集中在高科技所有者手中—而高科技所有者又集中在美国等特定国家和地区（Nemitz2018）。因此，人工智能不仅是技术逻辑，还创造或维持着特定的社会秩序，这里指的是资本主义和新自由主义。再考虑一下祖博夫关于监控资本主义的主张：问题不仅在于一项特定技术有问题，人工智能和大数据有助于创造、维护和扩展整个社会经济体系，在这一体系中，（一些人）通过收集和出售（许多人的）数据的技术来积累资本，从而剥削人性并将触角深人到私密领域。甚至我们的情感也会受到监控并被货币化（McStay2018）。同样，人工智能技术可被用于支持极权主义政权或维护压迫性政治制度及其相应的叙事和形象(如种族主义乌托邦)，尽管原则上人工智能也可以提供支持民主的机会—这在很大程度上取决于我们如何看待民主（见第四章）乃至政治。

人工智能政治哲学

126

大多数人工智能和人工智能政治学研究者支持民主和公平的编码方式。有些人认为，我们需要更多的限制和监管。虽然有时人工智能会被故意用来推动种族主义和民族主义政治，但压迫性影响并不总是也通常不是有意而为之的。然而，正如我们在第三章和第四章中所看到的那样，也存在有问题的非预期影响。通过引人对特定个人和群体的偏见，人工智能可能会支持种族主义和新殖民主义的政治文化和制度，或帮助专制主义或极权主义创造条件。再考虑一下诺布尔（2018）的论点：（搜索）算法和分类系统可能会“强化压迫性的社会关系”。这种“算法压迫”的一个例子就是谷歌照片将非裔美国人标记为“猿”和“动物”—这是谷歌无法真正解决的问题（Simonite 2018）。然而，人工智能的某一特定用途或结果是否存在偏见或不公正，并不总是像这个案例那样明确，它还取决于人们对公正和平等（见第三章）的理解。在任何情况下，决定、思想、行动和情感也可能被故意控制以支持特定的政治制度。在极权主义的情况下，人工智能可能会支持该体制无限地深入人们的思想和内心。

第五章 权力：通过数据的监控与（自我）规训

127

第四，人工智能可以在自我建构和主体形成中发挥作用，即使我们没有意识到这一点。这里的关键不仅在于人工智能操纵我们并深度干预个人的层面，因为它可以帮助推断人们的思想和情感——根据可观察到的行为（如面部表情和音乐偏好）推断人们的内心状态，然后由监控资本主义利用这些行为进行预测和货币化——而且还在于人工智能有助于建构我们对自身的理解和体验。虽然鲁夫鲁瓦（Rouvroy 2013）所说的“算法治理术”（algorithmicgovernmentality）绕过了“与人类反思性主体的任何接触”，便人类无法对我们自己的信念和自我进行判断和明确评价，并导致了个体之间的剥削关系（Stiegler 2019)，但这并不意味着其对我们的自我（知识）没有影响。人工智能有助于创造什么样的自我认知和知识呢？例如，我们是否开始将自己视为待售数据的生产者和收集者？当我们追踪自己并被他人追踪时，我们是否量化了自己和自己的生活？我们是否认为自己拥有“数据替身”(datadoubles)(Lyon 2014）或自己的数字模型——即使人工智能并不存储用户的数字模型（Matzner 2019)？我们是否获得并传播了一种网络化的自我意识（Papacharissi 2011)？人工智能带来了怎样的身份和主体性？

人工智能政治哲学

128

提出这样的问题超越了对人类与技术关系的工具主义理解。自我和人的主体性并不外在于人工智能等信息技术；相反，“数字技术对人类主体性本身做了一些事情”(Matzner 2019，109)。人工智能技术影响了我们对世界的感知和在世界中行动的方式，导致了新形式的主体性。与人工智能相关的主体性有不同的形式。例如，基于我们所属主体类型和社区类型，我们会对特定的基于人工智能的安全系统作出不同的反应。如果某个人没有被系统识别，那么基于这个人以往的经历和特定社会背景下的紧张关系(如影响该人和社区的种族主义)，这可能会被另一个人视为威胁；而另一个来自其他背景的人对此可能问题较少。用马茨纳（2019）的话来说，就是“人工智能的具体应用，以完全不同的方式与先前存在的社会技术状况和各自的主体性形式联系在一起”。人工智能技术将使得不同主体性之间的不同关系得以可能，因为我们是情境中的主体。与福柯的观点一致，这意味着人工智能的权力不仅仅是（自上而下的）操纵、能力和系统；它还涉及由技术塑造的具体的情景化的权力经验和机制。我们也可以说（正如我在本章末尾所说的那样)：作为活生生的、运动着的、情景化的存在，我们表演自我和权力，而人工智能在这些表演中扮演着一个角色，例如通过共同指导这些表演。

第五章 权力：通过数据的监控与（自我）规训

129

我将从三个理论方向来进一步解读这一人工智能与权力的思考框架。首先，或许显而易见的是，马克思主义是构建、理解和评估人工智能对权力影响的理论资源。然后，我将通过福柯的理论进一步阐述人工智能使我们成为主体的观点，并提出权力是通过技术而被表演的这一主张。

马克思主义：人工智能是技术资本主义的工具

从马克思的观点来看，人工智能的权力是对资本主义和特定社会阶级支撑的概念化。通过人工智能，大型科技公司和其他资本家统治着我们。我们正生活在苏亚雷斯-维拉（Suarez-Villa2009）所称的“技术资本主义”（technocapitalism）的新形式下：企业在“追求权力和利润”的过程中，不仅试图控制公共领域的方方面面，还试图控制我们的生活（参见祖博夫关于监控资本主义的观点）。此外，人工智能还被用于为资本主义国家及其民族主义目的服务。巴托莱蒂（Bartoletti 2020）将人工智能与核能相提并论：人工智能被用于新一轮国际军备竞赛。我们还可以补充说，人工智能与核能的相似之处还在于——至少根据这种说法——通过人工智能，权力从中央层面自上而下地以非民主的方式行使。正如我们大多数人从未被问及是否需要核能一样，我们也从未被问及是否需要人工智能监控和生物识别、人工智能决策系统、处理手机数据的人工智能，等等。对公民个人而言，人工智能是一种权力，因为它能实现统治，对某些人而言，它还能实现压迫。

人工智能政治哲学

130

然而，并不存在“人工智能”压迫我们的情况，仿佛技术会自己运行似的。人工智能不应被理解为一个孤立的因素或原子化的人工智能体；它总是与人类联系在一起，人工智能对权力的影响总是与人类一起并通过人类发生。如果说人工智能“拥有”权力（例如支配人类的权力)，那它就是通过人类和社会来获得的权力。从马克思主义的观点来看，为资本家生产剩余价值的是人的活生生的劳动，而不是机器本身（Harvey 2019，109）。此外，人工智能和机器人旨在取代人类劳动。正如哈维（Harvey2019）所说：“机器人不会（除了在科幻小说中）抱怨、回嘴、起诉、生病、行动迟缓、注意力不集中、罢工、加薪、担心工作条件、想要茶歇或干脆不出现”(121-122)，即使是诸如生产软件或虚拟世界的所谓“非物质”(immaterial)劳动（Lazzarato 1996；另参见 Hardt and Negri 2000)也需要人类。此外，关于人工智能的政治选择是由政府以及那些开发和使用人工智能的人作出的。人工智能和数据科学是政治性的、充满权力的，因为在数据经济的背景下，决策是由人作出的，并且在每个层面、每个阶段都以无形的方式与人相关：

第五章 权力：通过数据的监控与（自我）规训

131

选择研究哪些数据集是由人来决定的。这是一个主观决定，也是一个政治决定。每个人一旦被输入数据集，就会成为他们与将其输入其中的无形力量之间新交易的一部分，并利用该数据集来训练算法，最终对他们作出决定。这代表了权力的不对称，而这种不对称—选择和权力的结果—正是数据政治的基础，最终也是数据经济的基础。数据经济在各个层面上都是政治性的，尤其是因为一些组织通过决定谁能进入数据集，谁被排除在外，从而对其他组织拥有巨大的权力，而这种决定可能会产生深远的影响（Bartoletti2020, 38)。

从“多个组织”(many hands）参与人工智能运行来承认人工智能的政治和权力，并不意味着不存在集中化的和自上而下的权力使用。企业和政府都以集中的方式使用人工智能。正如我们在前一章中所看到的，这可以采取技术官僚制的形式。萨特拉（2020）对此进行了辩护：在优先考虑公共利益的前提下，人工智能可以实现某种形式的合理优化，而只要理解得当，大多数问题都是“可以用统计分析和优化逻辑来解决的技术问题”。与这种观点相反，根据环境哲学和（我补充的）技术哲学的观点，我们可以认为技术问题也是政治问题，人类作为政治动物和具有同情心和智慧的道德主体，需要参与其中并承担责任。然而，萨特拉认为，如果人工智能得到进一步发展，它有可能为我们解决复杂的问题，因为它在制定和确定最佳政策方面比人类更胜一筹，尤其是在科学、工程以及复杂的社会和宏观经济问题等领域。然而，有人可能会反对说，这些问题也是政治问题，不能也不应该完全用技术官僚的方式来处理政治问题，因为这违反了民主原则，而且政治也需要人的判断（见第四章）。

人工智能政治哲学

132

然而，这些观点可以在不提及资本主义的情况下提出。从马克思主义的具体观点来看，主要问题并不在于技术官僚制和缺乏民主本身，而是具有自身逻辑的特定社会经济体系。例如，戴尔一维特福德、克约森和斯坦霍夫（2019）指出，当今资本主义已被人工智能问题“占有”了，并认为人工智能是资本和剥削的工具。人工智能不仅具有技术逻辑，还具有社会逻辑，尤其是生产剩余价值的逻辑。它有助于创造和维持一种特殊的社会秩序：资本主义秩序。人工智能取代了工作，即使没有取代工作，它也强化了工作，而取代工作的威胁有助于恐吓工人。人们变得可有可无，或者让人觉得他们是可有可无的。一些社会主义者将人工智能视为创造一个不一样的社会的契机，例如通过全民基本收入的方式而戴尔-维特福德、克约森和斯坦霍夫则将重点放在问题上：新形式的剥削以及没有人类的资本主义迫在眉睫的前景。

然而，人工智能对人类的影响并不局限于狭义的生产和劳动领域。人工智能不仅是生产的一部分，还能提取知识，形塑我们的认知和情感。从情感计算（affective computing)(Picard 1997)到情感人工智能（affective AI)，数字技术介入了个人、私密和情感层面。“情感人工智能”（McStay 2018）用于辨别情感状态、情感分析和衡量幸福感。例如，公司可以利用情感分析来识别、监控和操纵人们的情感状态：这是一种认知资本主义，但也是情感资本主义（Karppi et al. 2016)。这些“针对你的人格、情绪和情感、你的谎言和弱点的操作”（Zuboff2019，199）导致了新形式的剥削、支配和政治操纵，例如数据驱动的竞选活动（参见Simon2019；Tufekci 2018)。社交媒体也偏好情绪化的信息：情感传染（Sampson2012）被用来影响大众。这可能会加剧极端主义和民粹主义，甚至可能导致暴力和战争。

第五章 权力：通过数据的监控与（自我）规训

133