算法权力与政治

在其他时候，算法的可识别性较差;然而，它是什么、在哪里的问题却显得很突出。因此，在解决算法的本体论政治问题时，关键不在于理解算法到底是什么，或者算法在什么时刻起作用(尽管这也很重要)，而在于理解算法在哪些时刻被制定出来，并成为特定背景和情况的一部分。

40

IF . . . THEN

3

既非黑也非盒

(1)了解算法

在社会的各个领域都能感受到算法的力量。算法不仅可以过滤新闻或安排人们的社交媒体动态，还经常用于帮助执法部门、金融机构和卫生部门做出可能对个人生活产生深远影响的决策(Pasquale,2015)。然而，算法并不是他们经常被认为的那种客观和中立的决策者。算法决策中存在偏见的例子现在比比皆是，学者和政策制定者正试图找出管理这些系统并使其更负责任的最佳方法。然而，让算法承担责任的一个主要障碍是首先要了解它们。我们最关心和最感兴趣的许多算法一一例如，那些流行媒体平台的基础算法一一往往受到商业秘密保护的约束。运行Facebook和b谷歌的算法是“秘密酱汁”，它赋予在线流动的信息和数据以形状。算法是不透明的一一不仅仅是为了保护商业，也是因为处理系统复杂性的技术需要。因此，了解算法往往因其“黑箱”性质而负担沉重。正如弗兰克·Pasquale(Frank Pasquale)所写的那样，了解算法的作用很重要，因为权威越来越多地通过它们来表达：“过去基于人类思考的决策现在是自动做出的”，通过“隐藏在黑盒子里”的编码规则(2015:8).算法决策通常被描述为难以穿透和秘密的，隐藏在“代码的面纱”和贸易法后面(Perel &Elkin-Koren,2017)。故事通常是这样的，如果我们能让算法更加透明，我们就有更好的机会来管理那些代表我们做出这些自动决策的大公司。

虽然“透明度本身不仅仅是目的”，但透明度仍然被视为提高可理解性的必要条件(Pasquale,2015:8)。正如巴拉克·奥巴马(2009)在《信息自由法》备忘录的开场白中所说的那样：“民主需要问责制，问责制需要透明度。”问题仍然是，究竟什么是应该透明的，以及透明被认为有助于揭示什么。在她对

41

帕斯奎尔的《黑匣子社会，德万特》(2015)将最近对提高算法透明度的呼吁与女权主义学者苏珊·h·威廉姆斯所谓的“启蒙视野”联系起来。对威廉姆斯来说，“自由主义的自主性模式和笛卡儿的真理模式是紧密相连的。自主的自由主义者是笛卡儿式的知者”(2004:232)。根据启蒙视野，透明度使理性、自主性和控制成为可能。当某些东西被隐藏时，启蒙运动的动力说我们必须揭示它，因为知道会导致更大的控制但是，如果人们认为来自算法的力量并不容易获得，仅仅是因为笛卡儿因果关系假设所带来的行为起源和来源的想法一开始就有问题，那该怎么办?通过围绕感性和知识的尖端进行思考，我在本章中接受了对算法提出认识论立场的挑战，这种认识论立场致力于前一章介绍的算法作为多重的概念。也就是说，当算法既是多重的，“隐藏在代码的面纱后面”，又看似“不可穿透”的时候，如何认识算法?

在这一章中，我将黑箱的概念作为一种启发式装置，来讨论当代媒体平台中算法的本质，以及我们作为对算法感兴趣的学者和社会行动者，可能会如何关注算法，尽管，甚至因为它们看似秘密的本质。超越算法是黑盒子的概念，本章提出的问题是，以这种方式框架算法的利害关系是什么，以及这样的框架可能会让我们分心。我想在接下来提出的问题与使用黑箱作为算法的功能类比的局限性有关。算法在多大程度上被视为“黑匣子”?如果阐明算法的努力不是指向其编码指令的源代码或细节，而是指向其他地方，我们可能会看到什么?在其他地方会是什么?这一章展开如下:首先，我将算法比喻为黑盒子，认为算法既不像有时被认为的那样黑，也不像被认为的那样封闭。接下来，我将通过从关系本体的角度对算法进行概念化来进一步阐明这一主张。这意味着将焦点从算法是什么问题转移到算法做什么问题。有人认为，为了解决算法的权力和政治问题，关于算法代理的问题不应关注代理位于何处，而应关注何时。最后，我指出了三种方法论策略，围绕它们来确定理解算法的方式。

黑匣子

未知的问题

黑匣子的概念已经成为我们(看似)无法知道的一切事物的统称。指的是一种只知道输入和输出的不透明的技术装置，黑匣子的形象与历史联系在一起

42

IF . . . THEN

2.秘密——商业秘密、国家秘密和军事秘密(加利森，2004:231)黑盒子是一种无法知道其内部功能的物体一一至少不能通过观察，因为盒子的黑色遮蔽了视觉。从历史上看，“黑匣子”是指二战期间装着战争机器和雷达设备的物理黑匣子。在追踪黑匣子的谱系时，冯·希尔格斯(2011)描述了黑匣子最初是如何指一个“黑色”盒子的，这个盒子是作为所谓的蒂泽德任务的一部分，从英国寄给美国人的，该任务旨在寻求技术援助，为战争努力开发新技术。这个黑盒子被送往麻省理工学院的辐射实验室，里面装着另一个黑盒子一一磁控管。在战时，关键技术必须做到不透明，以防落入敌人之手。相反，如果面对敌人的黑盒子，人们就不得不假设盒子里可能装有自毁装置，打开就很危险。因此，出现了一种保密文化，或者被加利森(1994)称为“雷达哲学”，这种思想模式为控制论和复杂“人机”系统的分析和设计的出现铺平了道路。黑盒子很容易成为秘密、隐藏和未知的隐喻。在日常用语中，从大脑到市场再到民族国家的一切，现在都被概念化为一个黑盒子。算法也不例外。

当算法被概念化为黑盒子时，它们同时被呈现为一个未知的问题作为未知数，算法并不仅仅意味着缺乏知识或信息。黑箱概念指向了一种更具体的未知类型。关于算法和商业保密的透明度和问责制的普遍论述表明，算法被认为是可知的已知未知数(Roberts,2012)——也就是说，如果有合适的资源，原则上可能是可知的。根据流行的话语，所需要的就是找到一种打开黑盒子的方法。事实上，科学技术研究中的一个关键口头禅，“打开黑盒子”，意味着要解开使一种技术装置看起来稳定而奇异的复杂性和工作打开黑盒子的动力也可以从对“审计社会”特征的更大透明度和问责制的呼吁中看到(Power,1999)。在审计的氛围下，越来越多的组织被要求对其交易和运作方式保持透明。例如，大学被要求提供越来越多的书面记录，包括评估记录、研究产出的数量和收到的资金清单。正如Marilyn Strathern (2000a)所言，增加的信息被赋予了公理化的价值。今天，学者们已经将审计的概念扩展到算法领域，认为有必要对算法进行审计研究，以发现和打击各种形式的算法歧视(Sandvig et al.，2014)。虽然这样的努力当然令人钦佩，但作为本章的一部分，我想批判性地考察的恰恰是对要求提高透明度的呼吁所附带的可理解性的希望。除了打开黑盒和，还有很多了解算法(被广泛理解)的方法

Neither Black nor Box

43

阅读确切的编码指令，告诉机器该做什么。的确，虽然有些事情是“根本无法发现的”(vonHilgers, 2011:42)，但将算法视为黑盒子的广泛概念构成了某种转移注意力的东西一一也就是说，一条信息分散了人们对其他(也许是更紧迫的)问题和需要解决的问题的注意力。黑盒子的比喻往往太容易被用作批评算法的一种方式，而没有对比喻本身进行严格的审查。当我们利用黑箱的比喻来描述算法时，得到了什么，失去了什么?这个隐喻到底在多大程度上起作用呢?

说某物是黑盒子，可能不仅仅是对事实的陈述。正如我将在本章中讨论的那样，将某物声明为黑盒子可能有许多不同的功能。与将未知视为智慧的基本先决条件的苏格拉底传统不同，黑箱将未知视为认识论问题。未知—一包括黑盒子—一被认为是有问题的，因为它模糊了视野，最终破坏了启蒙运动的要求：“‘敢于知道’，‘有勇气，大胆，去知道’”(福柯，2010:306)。对于杰出的启蒙哲学家康德来说，不知道的特点是不成熟，即人们盲目接受别人的权威来领导(福柯，2010:305)。唉，如果某件事被故意模糊，任何开明思想的任务都将是找到使其可见的方法。启蒙视野的批评者经常举起旗帜，反对揭露或解码内部运作的概念，好像有一个真理的内核正等待着被一些理性和成熟的头脑(一种经常被视为特定男性的头脑)揭示(Chun,2011;福柯，1980;哈丁，1996)。在康德的传统中，求知的胆识不仅与理性主义明确地联系在一起，而且与寻求真正的知识可能存在的条件联系在一起。因此，从表面上看，黑盒子威胁着认识真理的可能性。

在威胁着接近看似潜在的真理的同时，黑箱的概念本身也意味着一种手段，它将理性主体从他们的义务中释放出来，正如康德所看到的那样，寻找他们不成熟的“出路”(福柯，2010:305)。正如卡伦(Callon)和拉图尔(Latour)所建议的那样，“[a]黑盒子包含了不再需要重新考虑的东西”(1981:285)。在关于技术或商业黑箱与透明度的讨论中，为黑箱辩护时经常提出的一个论点是，必须保持细节的封闭和模糊。在关于商业秘密的写作中，科学史家PeterGalison(2004)指出，保密被合法化为一种“反认识论”的形式，即为了保护商业公式或类似的东西，必须掩盖和模糊的知识的确，似乎整个黑盒子的形象都是以反认识论的概念为前提的。没有保密性，系统就无法正常工作。从更技术性的角度来看，使内部工作变得模糊有助于纠正利用系统的企图。正如Kroll等人所写，“保密阻碍了系统参与者的战略行为，防止违反法律对数据披露的限制”(2016:16)。最后，从工程的角度来看，隐藏或

44

IF . . . THEN

对大部分代码进行模糊处理是软件开发的必要特征。正如Galloway所指出的，“使用混淆或信息隐藏’是为了使代码更加模块化和抽象，从而更容易维护”(2006a:323)。换句话说，黑盒代码既减少了程序员的认知负荷，又使他们能够编写新的代码部分，或者设计新的特性或功能，而不必考虑系统如何工作的每一个小细节。

当算法在当前话语中被定位为黑盒时，通常是为了将许多算法具有有害或歧视性影响的事实问题化。特别是在法律界，多次有人呼吁打开算法的黑盒子。正如Pasquale所言，“在不知道谷歌对网站进行排名时的实际做法的情况下，我们无法评估它什么时候是在善意地帮助用户，什么时候是为了自己的商业利益而偏袒结果”(2015:9)对于Pasquale来说，令人担忧的是黑箱社会固有的知识不对称，或者他所说的知识的“单向镜子”：“重要的企业行为者对我们日常生活的细枝末节有着前所未有的了解，而我们对他们如何利用这些知识来影响我们和他们做出的重要决策却知之甚少，甚至一无所知”(2015:9)这种知识不对称影响了新的权力关系一—不仅在越来越了解其监控的人的公司之间，而且在公司本身之间，最终破坏了强劲的竞争(Pasquale,2015:83)。因此，法律学者(特别是在美国的背景下)现在正在加强对更大透明度的呼吁，要求公司使其运作更加透明(例如，参见Balkin，2016;Benjamin, 2013;Citron & Pasquale, 2014;Cohen, 2016;Mehra, 2015).6正如Pasquale挑衅性地指出的那样，“你无法与一个黑匣子建立信任关系”(2015:83)。

那么，对于“算法社会”中普遍存在的技术细节黑箱，有哪些建议的解决方案呢(Balkin,2016)?对于Pasquale来说，必须揭示黑箱，以抵消这些系统可能包含的任何错误、歧视或偏见：“算法应该开放供检查——如果不是由公众检查，至少由一些值得信赖的审计员检查”(2015:141)。在这里，开放可能只涉及使源代码可访问。正如Citron和Pasquale在信用评分系统中检测偏见的背景下所指出的那样，“为了确切地知道，我们需要访问信用评分系统核心的源代码、程序员笔记和算法来测试人类偏见，当然我们没有”(2014:14)。其他人则对透明源代码的要求持怀疑态度，指出这种调用没有考虑到没有使每个细节完全透明的许多充分理由(Kroll等人，2016)。然而，打开算法的黑箱也可能意味着开放算法可以从外部合法审计的条件。正如研究人员Sandvig及其同事最近在美国联邦法院提起的诉讼所证明的那样，法律可能会构成额外的访问障碍一—在这种情况下，“阻止”

Neither Black nor Box

45

研究人员通过收集数据来确定在线算法是否会导致歧视”(Grauer,2016)。虽然许多要求提高透明度的呼吁肯定是有道理的，但我在下文中想说的是，了解算法并不一定要打开黑匣子。事实上，在思考算法的本体论和认识论时，黑箱甚至可能不是最适合使用的概念。

未知算法

虽然专有算法确实很难知道，但这并不意味着它们是不可知的。也许矛盾的是，我想建议的是，虽然算法不是不可知的，但了解算法的第一步是不了解它们。所谓不知道，我的意思是类似于让熟悉的东西变得稍微不熟悉。在前一章中，我们看到了算法对于不同的利益相关者和来自不同学科的人来说意味着不同的东西。这并不是说计算机科学家需要摒弃她对算法的了解，也不是说社会科学家应该以某种方式摒弃他们将算法视为社会关注对象的方式。“未知”更不意味着“黑盒”。相反，“不知道”意味着以不同的方式看问题，看别的地方，或者根本不看。就像要求透明的呼声试图使关注的对象更加可见一样，可见性也可能隐藏起来。正如斯特拉森所指出的那样，“把不可见的东西变成可见的，没有什么是无辜的”(2000a:309)。过多的信息可能会使我们看不清楚，并最终使我们无法理解(斯特拉森，2000;Tsoukas,1997)。未知并不排斥知识，而是挑战知识。从这个意义上说，我心目中的无知可以比作巴塔耶的“无知”概念，即“一种挑战我们思维和道德的过度形式”(Yusoff,2009:1014)。对巴塔耶来说，无知不是必须根除的东西，而是作为一种丰富的经历而接受的(1986,2004)为了回应巴塔耶关于知识/非知识鸿沟的思考，鲍德里亚发展了“淫秽”和“诱惑”之间的区别，说明了“非知识是知识的诱人和神奇的一面”(Juergenson & Rey, 2012: 290)。换句话说，我们可能会认为“未知算法”是一种疏远的形式，或者是一种与算法的诱人品质接触的形式，这些品质并不总是能用完全理性的术语来解释。在实际层面上，未知算法可能只是简单地打开了自己对已知算法的假设的黑盒子。对于计算机科学家来说，这可能意味着更多地了解影响-算法设计要处理的数据的社会动态。相反，对于社会科学家和人文学者来说，这可能意味着更多地了解计算机和算法如何做出决策(Kroll et al.，2016: 14)。在更理论化和概念化的层面上，未知算法意味着面对黑箱本身隐喻的局限性。与KarinKnorr-Cetina所说的负面知识作斗争，

46

IF . .. THEN

任务是识别黑箱隐喻的局限性和不完善之处。对于Knorr-Cetina:

[N]否定的知识不是不知识，而是认识到认识的限度，认识到我们在试图认识的过程中犯的错误，认识到干扰我们认识的事物，认识到我们对什么不感兴趣，什么并不是真正想要认识的。(1999:64)

未知算法作为了解它们的第一步，将是更积极地参与解决那些似乎干扰或阻止我们了解的事情。事实上，我想论证的是，黑箱的隐喻本身就构成了这种干扰。在我们试图打开黑盒子的过程中，经常被忽略的问题是，黑盒子的隐喻到底是否成立。将算法视为黑箱可能更容易、更切实，因为它允许分析师、政策制定者或外部批评者呼吁提高透明度和公开性，作为让权力掮客承担责任的实用手段。尽管所谓的黑，这个黑盒子不仅隐藏了批评者想要揭露的代码，还隐藏了这样一个事实，即算法甚至可能不像人们经常认为的那样黑或方正。

多重 (Multiple)、..过程(Processual)、异构(Heterogeneous)

关系本体与算法

本章的中心焦点与了解通常被描述为黑盒的算法的可能性和挑战有关。到目前为止，我所论证的是，黑箱的隐喻掩盖了它作为一种认知手段的自身局限性。通过鼓励启蒙运动的揭示一一或开放一一黑箱将可见性定位为知识和控制的管道。然而，算法并不是独立的盒子，而是复杂系统的一部分。它们通常作为算法的集合在最终网络化的系统中运行。对于Facebook、Twitter、Netflix或YouTube等平台的底层算法尤其如此。这些系统不是包含一种算法，而是一系列算法的集合，共同创造统一的体验。戈麦斯-乌里韦和亨特是Netflix的产品负责人，他们写道：“我们的推荐系统由多种算法组成，这些算法共同定义了Netflix的体验。”2)为了给大家一个印象，在设计Netflix整体体验的过程中，有许多算法在起作用，戈麦斯-乌里韦和亨特列出了至少8种不同的算法，包括个性化视频排名(PVR)，它以个性化的方式为每个成员排序整个视频目录;Top-n视频排名(Top- n Video ranking)，它产生Top Picks中的推荐;以及页面生成算法，用于构建每一页的推荐。同样，YouTube的视频推荐系统也不是由单一算法驱动的，而是由许多算法驱动的，包括相关/推荐的视频建议算法、搜索算法和Content ID (Davidson et al.，2010)。Facebook也不例外。正如科技记者WillOremus(2016)在Slate上所写的那样：“算法实际上是数百个较小算法的集合，这些算法解决了较小的问题，这些问题构成了向人们展示什么故事的大问题。

Neither Black nor Box

47

此外，它们的多样性与它们不断变化的性质有关。正如我们在前一章看到的，Facebook通常被描述为一个正在进行的工作。这不仅仅是要理解为创新的话语，而是从字面上看，是一个不断改进算法以留住用户的综合商业计划。这种持续变化的道德准则绝不是Facebook独有的：它是大多数在线平台开发产品的重要组成部分。所谓的A/B测试是实验文化不可或缺的一部分，这种实验文化管理着平台，作为评估和比较不同版本算法表现的一种手段A/B测试基本上就像焦点小组一样，人们被要求对某个产品发表意见——重要的区别是，大多数参与A/B测试的人都没有意识到这一点。正如Wired记者Brian Christian(2012)所解释的那样:

在没有被告知的情况下，一小部分用户被转移到一个给定网页的稍微不同的版本，他们的行为与标准网站上的大量用户相比。如果新版本被证明是更好的—一获得更多的点击，更长时间的访问，更多的购买一一它将取代原来的网站;如果新版本较差，它就会在大多数用户都看不到的情况下被悄悄淘汰。

这些“看不见的”实验现在已经成为网络产品开发的重要组成部分，对于像Netflix这样的公司来说，a/B测试结果被视为他们“做出产品决策最重要的信息来源”(戈麦斯-乌里韦和Hunt,2015: 11)。a/B测试通常作为两个变体和两个用户组的测试来执行，它体现了不断变化的逻辑。在任何给定的时间，这些测试的多个都是并行执行的。在Netflix，这些测试不仅在两个变体上进行，而且通常包括5到10个版本的算法，通常运行2到6个月(戈麦斯-乌里韦和Hunt,2015:9-12)。因此，没有一个“Netflix”，但有许多不同的排列(Seaver,2013)。实验文化使任何了解算法的努力复杂化，因为不可避免地会出现关于我们谈论的是哪个版本、哪个测试组或哪个时间框架的问题。那么，我想建议的是，在当代媒体平台上运行的算法根本不是黑盒式的，而是多事的。对于算法的概念化来说，这意味着对本质和永恒的拒绝，以及对过程和关系世界的本体论转变。

48

IF . . . THEN

算法的事件性

从理论上讲，这种本体论的转变得益于多种但相互关联的观点，包括行动者-网络理论和后ant (Latour, 2005;Mol, 1999;法;1999)，过程关系哲学(Deleuze & Guattari, 1987;Simondon, 2011;怀特海，1978)，代理现实主义(巴拉德，2003;2007)和新唯物主义(Bennett, et al.，2010;Braidotti,2006).9虽然这些观点并不代表一种同质的思想风格或单一的理论立场，即使在这里引用的属于特定类别的思想家中，他们都以这样或那样的方式强调关系本体论和权力和代理的扩展到参与者的异质性，包括非人类或超越人类者

在主张将算法理解为事件的过程中，我借鉴了怀特黑德的一种感性，这种感性强调的是成为而不是存在的过程。对于怀特海(1978)来说，实际的实体或实际的场合(如算法)是异质元素的组合(或他所说的抓取)实际实体只有在它们的形成过程中才可被认识，而不是它们的存在。正如怀特海所说，“一个真实的实体是如何形成的，构成了这个真实的实体是什么。”它的“存在”是由它的“成为”构成的。这就是过程的原则’”(1978:23)。这种将实体视为过程的观点打破了将实体视为实体和本质的更传统观点。的确，“‘实际实体’是构成世界的最终真实事物。没有人会躲在真实的实体后面去寻找更真实的东西”(怀特海，1978:18)。这对算法的分析处理有重要的影响，因为在它们实现形成新颖的组合形式的方式背后，没有什么“更真实”的东西简单地说算法是多事的，理解为共同成为的组成部分是不够的。在对实际实体的研究中，必须对哪些关系和哪些参与者进行分析选择。正如迈克·迈克尔(MikeMichael)所建议的，研究过程或事件的价值“与其说在于它们在经验上的准确性’，不如说是在于它们产生有序和无序’的能力，从这些‘有序和无序’中，某些现实性(如实践、话语和政治)得以显现”(2004:9,19)这对于理解算法意味着将注意力从算法是什么问题转移到它们作为特定情况的一部分所做的事情上。

在最基本的层面上，算法通过体现命令结构来做事(Goffey,2008:17)。对于程序员来说，算法通过将输入处理成输出来解决计算问题。对于用户来说，算法主要是通过辅助来做事—一也就是说，它们帮助用户找到他们正在搜索的东西，将注意力引导到“最重要”的内容上以有意义的方式组织信息，提供和限制对信息的访问，或者对观看或购买的内容提出建议和建议。算法的作用还可以从它们塑造体验和让人们产生某种感觉的各种方式上看到一一例如，它们如何激发人们的沮丧、好奇或喜悦的感觉

Neither Black nor Box

49