人工智能政治哲学

在处理假新闻和虚假信息时，大型科技公司的权力也会带来问题。虽然假新闻—以新闻形式呈现的虚假或误导性信息—也被用在那些对数字媒体技术的技术决定论、过度悲观的批判之中（Farkas and Schou 2018，302)，但这些现象也对民主构成了严重的政治问题。什么算“假新闻”，由谁来决定？推特和脸书等社交媒体公司是否应该成为审查者，决定哪些内容是允许的，哪些是不允许的，而不是说由民选机构来审查？如果是，它们应该如何处理？如前所述，互联网公司采用的是内容审核——即审查制度。鉴于当前社交媒体平台的规模和时间窗口的短暂性，采取部分或完全自动化的内容审核似乎是不可避免的。但这意味着，公共言论的规则（以及什么是事实和真相的规则）是由一小部分硅谷精英制定的。这相当于一种隐性治理，远离了民主制度下媒体和公众的注目。同样，其也缺乏透明度和问责制。复杂的公正问题如何处理也不清楚，甚至有去政治化（depoliticized）的风险(Gorwa，Binns，and Katzenbach 2020 )。此外，算法可能会让仇恨言论盛行，但也可能会限制用户获取内容和表达意见的自由。目前尚不清楚用户的权利是否得到了充分保护。算法对言论的管制也并不一定反映了社会的取舍。缺乏制衡机制无法确保权力的行使符合整个社会的利益（Elkin-Koren 2020)。在有效应对这一问题以及所有其他复杂的政治问题时，人工智能的能力是有限的。此外，从马克思主义的角度来看，我们可以说，言论自由本身已成为一种商品，一种在数据经济中转化为经济价值的东西。在这种情况下，政治自由和政治参与意味着什么？谁来定义进行公共讨论的条件？少数有权势的行动者设置了定义和条件。所谓的用户“协议”——用户同意脸书或推特等平台设定的条款——并非民主章程，而是命令。这个问题再次强调，人工智能并不仅仅是人类手中政治中立的工具，而是改变了游戏本身，改变了政治得以运行的条件。人工智能影响并塑造了民主本身。尼亚佐夫（2019)认为，开放社会可以应对民主与平等方面的挑战，因为它们为批判性思考提供了途径。但如果开放社会变成了另一种东西，一种更不透明、更不利于批判性思考的东西呢？

人工智能政治哲学

104

第四章 民主：回音室与机器极权主义

105

还要注意的是，在民主政体中需要在不同的政治价值观之间作出艰难的权衡，例如自由与平等。正如我们在第二章中所看到的，托克维尔认为两者之间存在着根本性的矛盾。他担心过多的平等会削弱对个人自由和少数人权利的保障，从而可能导致暴政。卢梭则认为，民主和真正的自由需要政治和道德上的平等，而这需要最低限度的社会经济品质。如今，政治理论界关于平等的争论仍在继续，例如对皮凯蒂著作的回应。在第三章中，我们已经看到，人工智能会以各种方式影响平等。民主政体的成功及正当性还取决于能否协调和平衡不同的政治原则，而人工智能不透明、不公开的方式已经影响了这些不同政治原则和价值的实现，这可能会对民主政体产生冲击。例如，如果正如卢梭所主张的那样，民主需要道德上的平等，那么这就已经是一个减少社会不平等的充分理由，而不管其他价值如何。如果人工智能增加了不平等，例如因为它导致失业或增加偏见，那么根据这一推理，这就是不民主的，因为它增加了道德和政治上的不平等。然而，民主也需要维护自由，例如包括充分程度的消极自由。如果商品的再分配会导致消极自由的减少，那么我们就需要在自由与平等之间找到一个可以接受的平衡点。一旦我们考虑各种公正的观念，这种平衡就会变得更加困难，因为这些观念可能并不总是以平等本身为目标，而是例如以（现在或以前的）弱势群体的优惠待遇为目标。因此，论证人工智能不民主的理由可能不得不依赖于平等和公正等其他价值，而这些价值之间可能存在紧张关系。在讨论人工智能和其他问题时，诉诸民主是无法回避有关于这类协商和平衡行为的政治难题的。

人工智能政治哲学

106

总之，我们在这里看到的不仅是人工智能可被用作直接破坏民主的工具，它还会产生预期之外的副作用，例如使协商民主的理想更难实现、强化民粹主义、威胁公共责任以及加剧权力集中。此外，有关人工智能的政策必须平衡不同的、暗藏着冲突的政治价值。

人工智能与极权主义的起源：来自阿伦特的教训

人工智能与极权主义

民主的定义也可以与专制主义和极权主义相对照。后者不仅是专制主义，因为它拥有强大的中央权力，严重违反了迄今为止任何意义上的民主（投票、公民参与、多元化和多样性等），而且还深度干预公民的公共和私人生活。它的特点是政治压迫、新闻审查、大规模监控、国家恐怖主义以及完全没有政治自由。历史上，希特勒（Hitler）统治下的纳粹德国和墨索里尼（Mussolini）统治下的法西斯意大利等都是极权主义政权的例子。如今，数字技术为监控和操纵提供了新的手段，这可能支持或导致极权主义。人工智能就是这些技术之一。它不仅可以帮助专制统治者及其支持者操纵选举、传播错误信息、控制和镇压反对派，还可以帮助建立一种特殊的监视和控制：全面监视和全面控制。布鲁姆(2019）警告说，“极权主义4.0”的威胁会导致“每个人都将被全面分析和计算。他们的一举一动都会受到监控，他们的每一个偏好都会被了解，他们的整个生活都会被计算出来并变得可以预测”(vii)。如果通过人工智能的监控手段可以了解每个人的情况，那么就可以说人工智能比我们更了解我们自己了。这就为家长制（第二章）和专制主义开辟了道路。正如麦卡锡-琼斯（McCarthyJones 2020）所说：

第四章 民主：回音室与机器极权主义

107

个人主义的西方社会建立在这样一种理念之上：没有人比我们更了解我们的想法、欲望或快乐…而人工智能将改变这一切，它将比我们更了解我们自己。拥有人工智能的政府可以声称其知道人民真正想要什么。

人工智能实现了数字版的“老大哥”(Big Brother)，每个公民都受到“电幕”（telescreens）的持续监控。这在今天听起来相当耳熟，尤其是在具有专制和极权倾向的国家，但不限于这些国家。在技术上，几乎没有什么能阻挡国家利用人工智能和数据科学进行大规模监控。一些国家建立的社会信用体系就是基于个人留下的数字足迹。国家可以使用监控摄像头拍摄的视频、人脸识别软件、语音识别以及大型科技公司的私人数据。戴蒙德（2019，23）称这是一种“后现代极权主义”(postmodern totalitarianism)。

人工智能政治哲学

108

然而，人工智能不仅被用来支持国家极权主义，它还促成了一种企业极权主义。再想想祖博夫的说法：我们生活在“监控资本主义”(Zuboff 2015；2019）之下：一种通过监控和调节人类行为的资本主义积累的新逻辑。祖博夫（2015）没有提到“老大哥”，而是谈到了“大他者”(Big Other)：我们面对的不是中央集权的国家控制，而是“一个无处不在的网络化制度体系，它将每天的生活进行记录、调节并使之商品化，包括从烤面包机到身体、从沟通到思想，所有这些都是为了建立新的货币化和利润途径”。在社交媒体上，这种情况可能已经在一定程度上发生了，但随着“物联网”和相关技术将我们的家庭、工作场所和城市转变为智能环境，我们也可以很容易地想象，这些地方会如何越来越多地转变为一切都在人工智能等电子技术监视下发生的地方。人工智能不仅会监视我们，还会对我们的行为作出预测。因此，人工智能和数据科学可以成为新形式的极权主义的工具，在这种情况下，人工智能比我们更了解我们自己，甚至比我们更早地了解我们自己。正如赫拉利在接受WIRED采访时所说（Thompson，Harari，and Harris 2018)，人类的感受和选择不再是神圣的领域。人类现在可以被完全操纵：“我们现在是可被破解的（hackable）动物。”这为政府和企业的暴政提供了可能性。通过人工智能和相关技术获得的知识可以用来操纵和控制我们。

第四章 民主：回音室与机器极权主义

109

因此，借用阿伦特（2017）的一句话，技术有可能成为极权主义的起源之一。从民主到极权的转变，并不会（只是）因为一个元首（Führer）或主席上台接管政权并公开摧毁民主而发生，例如通过革命或政变的方式；相反，这个过程不那么明显，速度也比较缓慢，但效果却丝毫不减。通过人工智能和其他电子技术，权力的天平慢慢落人少数有权势的人手中—无论是在政府还是在企业—当然这也远离了人民，如果他们原本就拥有很大的权力的话。因此，人工智能不仅仅是一种工具，它改变了游戏规则。当人工智能应用于政治领域时，它也会改变政治领域，例如当它有助于为极权主义创造一种动力时。

然而，技术并不是危及民主的唯一因素，其影响当然也不会脱离其运行和所依的人文社会环境。这里所说的危险不能也不应仅仅归咎于人工智能。人类和社会环境以及它们与技术的互动方式至少同样重要。为了理解这一点，我们需要从那些对历史上专制主义和极权主义事例进行分析的学者那里汲取教训，他们试图搞清楚民主政体如何会恶化到与之相反的东西，他们从规范性观点出发，认为过去发生的事情不应该再次发生。在20世纪，许多知识分子在第二次世界大战后确切地提出了这些问题，阿伦特就是其中之一。

阿伦特关于极权主义的起源和平庸之恶

《极权主义的起源》(The Origins of Totalitarianism)(2017)最初出版于1951年，是以纳粹德国的极权主义为背景写成的。在该书中，阿伦特不仅描述了极权主义的具体形式，她还探究了为极权主义作准备的社会条件。她认为，如果极权主义运动凭借着“他们通过一贯的谎言建立和维护虚构世界的无与伦比的能力”以及他们对“现实整体结构的蔑视”(xi)，成功地建立了一种对社会的极权主义改造，那是因为现代社会已经具备了为此作好准备的条件。她指出，现代人无法生活在他们用愈加强大的权力为自己创造的世界里，也无法理解这样的世界。她特别强调了孤独感(loneliness）—“孤立并且缺乏正常的社会关系”——是如何使人们容易受到民族主义的暴力形式的影响，进而被希特勒这样的极权主义领袖所利用。更广泛地说，“恐怖只能对彼此相互孤立的人进行绝对统治”。再想想霍布斯的推论：只有当个人的生活是“肮脏、野蛮和短暂”的时候，当他们相互孤立、彼此竞争的时候，利维坦才能建立其独裁的暴力统治。问题并不在于专制和极权主义本身，而是更深层次的创伤：团结和集体行动的缺失，最终导致政治领域本身的毁灭。阿伦特写道：“孤立（isolation），是当人们生活于其中的政治领域以及他们为追求共同关心的集体行动被摧毁的时候，人们被迫陷入的僵局。”它意味着一个没有信任的世界，一个“没有人可靠，没有什么可以依赖”的世界（628）。

人工智能政治哲学

110

如今，当我们考虑特朗普主义（Trumpism）、假新闻和（非政府的）恐怖主义时，那些使自己及其追随者“免于真实性的影响”（Arendt 2017，549）的运动现象听起来颇为熟悉，就像谈论孤独和无法理解这个世界一样。这不仅是受教育程度较低或被社会排斥的人们的问题。许多特朗普的支持者都是中产阶级（Rensch2019)。当然，并不是所有的人都是或曾经是孤独的，也不是所有的人都没有朋友。但在阿伦特的意义上，他们可以被视为政治上的孤独，缺乏一个团结和信任的世界。在承认偏见、剥削和新殖民主义等问题相关性（见第三章和第五章）以及民粹主义和右翼宣传与意识形态的作用的同时，我们可以说，在如今的美国，政治孤立和一个缺乏信任的世界为专制主义的崛起提供了理想的土壤。如果阿伦特是对的，那么专制主义和极权主义与其说是创建了一个受损的社会结构，不如说是在一个已经受损的社会结构上生长。从阿伦特的角度来看，严格地说，极权主义不是一场政治运动，而是一场破坏政治领域本身的运动。它不仅是专制主义意义上的反民主，而且是“有组织的孤独”(organized loneliness)(Arendt2017，628)，是对彼此信任的破坏，是对真理和事实信仰的腐蚀。有鉴于此，我们必须再次提出与技术有关的问题：人工智能等当代技术是否会助长这些条件，如何会，又是如何助长的？

第四章 民主：回音室与机器极权主义

111

人工智能当然可以用来屏蔽人们对现实的感知或制造对现实的扭曲。例如，它可以制造前面提到的认知气泡或直接传播错误信息。但它也可以助长阿伦特所提到的极权主义的潜在社会心理和社会认知条件。这个论点的其中一个版本可以通过关注字面意义上的孤独来打造（因此与阿伦特有些不同）。特克尔（Turkle）认为，机器会助长孤独感，因为它们只会给我们带来陪伴的假象。在《群体性孤独》(Alone Together)(2011)一书中她写道，机器人“可能会给人一种陪伴的假象，而不需要友谊”。我们被网络联结着，但却感到“完全孤独”。我们可能不再冒险与人类建立友谊，因为我们害怕随之而来的依赖。我们躲在屏幕后面，甚至给别人打电话也会被认为过于直接。但如果我们这样做，我们就错失了人类之间的共鸣和相互照顾，错失了对彼此需求的回应机会，错失了真正的友谊和爱。我们还可能把他人当作物品，利用他们来满足自己的舒适或娱乐。这些风险有多大，是否是社交媒体造成的，尚存争议；特克尔很可能过于轻视技术带来的积极的社会可能性。但是，“群体性孤独”的危险需要认真对待。如果阿伦特是对的，那么这种孤独就不只是个人层面上的悲哀；如果它导致信任和团结的普遍丧失，那么它也是一个政治问题，而且是一个很危险的问题，因为它会为极权主义提供土壤。

人工智能政治哲学

112

只要人工智能和其他数字技术助长了这些现象，它们在政治上就是有问题的。例如，考虑一下社交媒体如何制造焦虑并可能导致部落化（tribalization）：我们不断受到耸人听闻的坏消息的轰炸，并且只相信来自我们“部落”的信息（Javanbakht 2020）。回音室和认知气泡进一步助长了这种部落化。焦虑加剧了孤独和分离，部落化不仅可能导致政治两极分化和公共领域的分别调配，还可能导致暴力。此外，当阿伦特（2017，573-574）声称纳粹集中营以科学控制的方式将人变成了纯粹的物品时，我们也可以考虑，当代通过人工智能进行行为操纵的形式可能会产生类似的道德影响，因为它们将人变成了阿伦特所说的“行为反常的”动物(perverted animals)，任由其非法侵人。再考虑一下监控资本主义，以及数据经济是如何建立在对人的剥削和操纵之上的。还有更多与第二次世界大战中发生过的暴行相似之处，以及更一般意义上的极权主义的罪恶相似之处。在《隐私即权力》(Privacy is Power)（2020）一书中，卡丽莎·贝利斯（CarissaVéliz）将当代专制政权掌握我们个人数据的情景与纳粹利用登记册大肆屠杀犹太人的情景进行了比较（115）。正如她所说：“数据收集可以杀人”。人工智能和数据科学可被用于此类目的，而且不那么明显地为此类现象创造了条件。然而，破坏、建立或维持极权主义政权的从来都不是技术本身，还需要人：特别是服从命令的人、不反抗的人。这就引出了阿伦特的另一本书：《艾希曼在耶路撒冷》(EichmanninJerusalem)(2006)，其因副标题而闻名：“一份关于平庸之恶的报告”(A Report on the Banality of Evil)，该书由阿伦特写于 1963 年，她分析了两年前对阿道夫·艾希曼（Adolf Eichmann）的审判，艾希曼是一名纳粹分子，在第二次世界大战期间大规模屠杀犹太人中扮演了重要角色。阿伦特目睹了审判过程。报告引起了巨大反响。阿伦特并没有将艾希曼视为怪物或仇视犹太人的人，而是认真分析了他自己的观点，即他是奉命行事：“只有当他没有按照命令行事时，他才会良心不安”。他的“职责”是服从命令，遵守纳粹德国的法律，也就是听从元首的命令。没有例外；服从是一种“美德”。（247）这一分析有助于阿伦特探究极权主义的起源：她的结论是，服从而不反抗是罪恶的一部分。如果没有许多像艾希曼一样“只是”服从命令、追求事业的人，纳粹德国就不可能犯下罪行和暴行。这是极权主义邪恶的平庸、普通的一面，但其“可怕”程度丝毫不减。在阿伦特看来，这种服从比极权主义领袖的内心世界和动机更为重要。然而，她希望总会有一些人进行反抗：“在恐怖的条件下，大多数人会服从，但有些人不会”。

第四章 民主：回音室与机器极权主义

113