--- schema_version: "library-reader-v1" source_type: "original_book" title: "权力的数据伦理学大数据与人工智能时代的人本方法新解" author: null edition: null publisher: null year: null isbn: "9787313310330" library_document_id: "1794a2f7-7f5b-4e9a-ab89-fc95e5b474ed" source_sha256: "c8690c24b9cff428b770fe7f4e8124669c31c0081ab74dc4f8a67f1d3228e2a6" pdf_physical_page_count: 266 pdf_physical_page_index_base: 0 range_start: 130 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/1794a2f7-7f5b-4e9a-ab89-fc95e5b474ed?start=130&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/1794a2f7-7f5b-4e9a-ab89-fc95e5b474ed.md?start=130&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/1794a2f7-7f5b-4e9a-ab89-fc95e5b474ed.md?start=120&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/1794a2f7-7f5b-4e9a-ab89-fc95e5b474ed.md?start=140&limit=10" --- # 权力的数据伦理学大数据与人工智能时代的人本方法新解 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=130 | PRINTED_PAGE=116 根据休斯的观点，社会技术系统进化的每个发展阶段都会产生特定的“技术文化”、他也将其定义为社会技术系统及其所有嵌入利益所处的环境(Hughes.1983，1987)。或许，我们可以认为社会技术系统文化是一种特殊的“常态”(Kuhn，1970)，是设计其技术组件的开发者、管理其社会接纳的立法者以及将其纳入日常生活的实践者的知识基础、世界观与概念框架。正是文化决定着这一系统的技术动量。这里，我们的基本观点是：相互竞争的文化以及因此产生的竞争性利益，要么融合成为技术动量的主流文化，要么消亡灭绝(Hughes，1983)。因此、技术变革首先就是利益之间的协商博弈，也是人类权力与领地的利益问题。 利益与技术 大型社会技术系统(如AISTIs)在多方关系组合当中转变与进化。每个变化都代表了系统过去的知识、偏好、需求与可用方法。例如，私人人工智能助手就是这样的一种软件程序，能够通过回答用户问题与执行用户指令的方式同用户进行互动。基于语音识别与机器学习等多种人工智能组件，它们能以个性化方式代替用户执行操作或者回答用户的问题。在某种程度上，我们可以将其视为AISTIs技术设计中的个人代表。然而，它们以何种方式代表个人呢？数据保护法对于助手的数据设计提出了相关法律要求；技术研究领域对于其技术与社会潜力进行了界定；开发者对其预定目标与优先事项进行了设计；背后的公司为了迎合其营销目标就数据设计制定了相关要求；人工智能助手的用户通过自我个人数据製造其学习过程……所有“行动者”都带着各自预先设定的要求与优先事项，共塑造着个性化人工智能系统。其中，既涉及法律、个人、社会、经济j政治利益，同时还涉及已知与未知、可能性与必然性、美丑好坏的世界观与知识框架。然而，实际上在其最终的设计当中，并非所有的利益都能 权力的数据伦理学：大数据与人工智能时代的人本方法新解 116 ## PDF_PHYSICAL_PAGE_INDEX=131 | PRINTED_PAGE=117 得到同等彰显。 仔细研究微观文化历史与嵌入社会技术系统各个组件的利益，我们发现，从宏观角度来看，社会技术发展模式几乎是随机而为，至少可以说是无章可循(Misa，1988，1992)。例如，如果我们只去观察单个的私人人工智能助手设计，它似乎仅是一个能在特定情境之下以个性化方式为用户提供特定服务的助手。然而，如果我们从其所属的社会技术系统一般演变模式来对其进行研究，我们就会发现、该系统的所有组件包括这个私人人工智能助手、往往都往一个方向上趋同。它们都属于知识与意义制造的共享系统地图。其中，不同利益之间的冲突通过协商得以解决、或者最常见的情况是、由特定的技术动量所支配(Hughes，1983，1987；Misa，1988，1992;Edwards,2002)。 这里需要理解的是·技术动量并非在某个单独的社会部门或利益相关团体(比如、技术开发过程的投资者)当中形成。正如休斯所言，尽管实际上技术系统开发很大程度上受到机器、设备与结构当中金融投资的影响、但是仅靠金融投资并不能推动技术发展(Hughes，1983：15)。技术动量离不开从企业家、投资者再到专业协会、组织以及商业、政府、教育机构等各个社会参与者的多方努力，这也是他所说的“支持性文化或背景”(Hughes、1983：140)。 现在。问到我们所说的私人人工智能助手这个例子之上，我们可以将其看作是多种数字形式的个人助手。实际上，通过检查其设计当中的利益组织，我们的确可以将其技术动量中的一般文化形态或“样式”(Hughes，1983)识别出来。21世纪10年代的私人人工智能助手是由世界领先的美国技术公司的技术动量所普及开来、具体表现为手机、平板电脑或语声系统的集成组件，例如亚马逊的Alexa、苹果公司的 Siri、谷歌Now 语音助手以及微软公司的 Cortana(Bonneauet al.。2018)。这些大型网络平台与技术公司的产品服务(如私人人工智能助手)的“大数据技术动量”，在整个21世纪之初以及21世纪 第4章数据利益与数据文化 117 ## PDF_PHYSICAL_PAGE_INDEX=132 | PRINTED_PAGE=118 10年代初期，在公共研讨当中，在开发者与用户群体里，甚至有时候在政策之中(如欧盟的某些数字单一市场战略以及个别成员国的数字化战略)、都充斥着大数据的“支持性文化”与“思维模式”。然而，正如我一直在本书中所说的那样，这种技术动量在21世纪10年代末也陷人了危机之中，特别是对于许多大数据产品与服务的数据伦理影响的批评检举逐渐增多。例如，人们对于私人人工智能助手提出了批评，并且表示担忧，害怕它们可能会在用户不知情的情况下识别用户声音，还可能存储处理用户的个人数据。特别值得一提的是，人们对于隐私以及这些服务背后商业参与者与用户之间权力与利益优先级排序等问题深感担忧(Chung et al.，2017；Lynsky，2019-10-9; Maedche et al., 2019). 在21世纪20年代初，人们发现，嵌人大型网络平台产品、系统与服务中的利益分配，以及科技公司的大数据科技动量必须进行变革。一种替代性技术动量“支持性文化”(即将个人利益放在首位)开始出现，如在公共话语、标准化(如IEEEP7000s标准项目)、拥有不同数据设计和技术(如“数据信托”和“个人信息管理系统”)的企业家和发明者、拥有新型数据处理和监督(新“数据管理模型”)的公司与组织、促进不同类型“数据中介”的法律框架等方面。 利益相关方的利益 现在我们已经认识到，社会技术系统的进化掺杂着各种利益。当系统获得技术动量之时，不同利益得以协商，不同利益之间的冲突得以解决，与此同时一些利益被赋予了优先级。以此为出发点。我们可以试着思考一下不同社会组织或利益相关团体的利益。这些不同的利益相关团体是如何通过不同类型的意义创造来促进社会技术系统形成的呢？这些团体是如何及时确定系统成败、解决冲突并且提供应对方案的呢？维贝·伯杰克的研究表明，这些技术闭体所做的事情之一就是制定并提出“技术框架”、概念与技术，从而解决相应问题(Bijker，1987：168)。这些“技术框架”被嵌人了框架提出者的利益(出于微观层面的科学、个人或技术原因，或出于宏观层面的政治经济与意识形态原因等)。同时，它们影响着关键问题的解决方式，进而影响系统的进化方式。 权力的数据伦理学：大数据与人工智能时代的人本方法新解 118 ## PDF_PHYSICAL_PAGE_INDEX=133 | PRINTED_PAGE=119 就“伦理治理”而言，对于受到技术影响的社会主体地位的长期评估至关重要(RaineyandGoujon，2011)。其中.核心评估机制就是主动确保多元的价值观与理念能够被启用并纳人技术开发和审议过程之中。正如在互联网治理背景之下，“多利益相关方的方法”在信息社会世界峰会(WSIS)进程中被提了出来，以此确保所有利益相关方的利益都能得到兼顾。这些利益相关方或者参与了互联网开发、或者受到了技术的影响·包括民间社会团体、技术社区以及相关行业与政府(Brousseau andMarzouki、2012)。然而，实际上任何法令在将多种利益相关群体纳入政策进程的同时，都无法确保能够公平地平衡其相应的权力。 在21世纪10年代，许多不同利益相关团体在官方团体与机构中都有自己的代表，并且在欧洲关于AISTIs的公共研讨与政治议题当中也有明确的发言权。这些团体包括行业协会、国家消费者组织和泛欧组织[如欧洲消费者组织(BEUC)：数字权利非政府组织，如算法监视组织(AlgorithmWatch)]、国际隐私保护组织(PrivacyInternational)、即时获取组织（AccessNow)、欧洲数字权利组织(EIRI);欧盟成员国：国家数据保护机构：欧盟委员会各总司等欧盟机构：欧洲数据保护监管局(EDPS)和欧洲创新与技术研究院(EIT)等独立的欧盟机构：国家政党：欧洲议会政治集团。此外，其他非组织利益相关团体也参与其中，包括各种用户团体、独立专家、活动家、记者、学界及私人公司。 然而，民间社会团体与行业团体的这些参与和贡献之间的平衡往往会由于手段与资源的可得性差异而被打破。“伦理治理”需要的不仅仪是一个意向或者法令，它需要的是了解社会当中不同团体的需求与局限、并有意识地努力予以满足和调整。现在，我们将通过追踪利益相关团体在治理措施中的利益，特别是他们在官方法律与政策文件及声明当中参与和发声主导地位，继续探索技术动量的发展方向与形态。然而，我想说的是，这些利益与价值不仅仅与不同利益相关团体有关。这些利益团体可以通过判断(例如，他们在机构活动和环境当中的参与情况)而被轻易地识别出来，予以分类。正如我们在本章开头(关于利益会影响关注隐私的人工智能开发者工作的例子)所看到的那样：利益的复杂结构绝非三言两语就能厘清。社会技术设计之中的利益与价值错综复杂，遍布于社区“技术框架”、公司目标、技术限制、各种法律质量标准以及个人偏见、需求与愿望之中。因此，我在这里主张，“伦理治理”需要对社会技术变革中的利益采取一个更加全面的分析视角，将其看作是一个复杂因素构成的集合体，这些因素共同形成共享的知识框架与世界观。由于不同利益相关团体之间的文化往往互不相容，这些社会技术变革也可以透过文化来得以辨识。 第4章数据利益与数据文化 119 ## PDF_PHYSICAL_PAGE_INDEX=134 | PRINTED_PAGE=120 社会背景下的利益 本小节的议论基于“不同利益有着不同的背景”这一论点展开。这些利益是在不同的经济与社会背景下得以形成，因此代表了社会当中的结构性权力机制。作为一个经典的社会学概念，“利益”通常被视为一种社会行为的决定性因素，或被理解为一种社会发展的分析类别(Spillman and Strand，2013：86)。在微观层面上，利益可以从个体与利益相关团体的行为当中识别出来；在宏观层面上，利益可以从政治、意识形态与经济行为之中析取出来。这些“利益驱动行为”往往以目标为导向来践行(Spillman and Strand，2013：98)。换句话说，这些行为有着明确的主体与客体分工。而这些主体、目标与客体的定义方式以及其中相关利益的自由程度则是多种因素综合作用的结果。 权力的数据伦理学：大数据与人工智能时代的人本方法新解 120 ## PDF_PHYSICAL_PAGE_INDEX=135 | PRINTED_PAGE=121 “能动性理论”关注的是不同当事人的利益如何在能动者间达成平衡，这些能动者在社会当中的行为代表着他们各自的利益(Spillman and Strand，2013:91)。我们可以拿大数据人工智能基础设施研发过程当中不同的利益相关团体的成员为例。正如前文所述，他们在公共讨论与政治当中由一系列机构与组织所代表。然而，一个利益相关团体中的某一成员不一定与在政策制定与公共研讨时代表自身的能动者中所有其他成员有着相同的利益。因此，一个行业协会在法律改革协商时的游说活动并不只是代表着“行业自身”利益。在为某个条款的措辞进行游说之时，协会代表了不同成员利益之间的博弈与妥协。 利益与价值敏感设计 接下来，我们将继续思考AISTIs的分布式能动性。鉴于社会之中的利益在部分自主的非人类能动者技术设计当中得以表征、分布、实现的频次日渐增多，因此将技术设计作为一个伦理意义上的“非中立性”利益能动者(即代表社会中不同利益之间妥协的能动者)来予以研究则有其重要价值。这里，我们将使用上一章中提及的价值敏感设计(VSD)框架来应对计算机设计在强化利益相关方的价值以及有意分配其能动性之时的道德能动性问题。在价值敏感设计当中，利益与不同利益相关者所持有的价值相关，而这些价值可能会被计算机技术设计强化或者抑制。 20世纪90年代，弗莱德曼与尼森鲍姆研究了计算机系统设计当中的不同偏见。这些设计会系统地支持某些不公平的决策、使之有利于或不利于某些群体。基于对具体计算机系统的分析，他们总结出三种方式来辨别设计当中嵌人的偏见： “预存偏见”(pre-existingbiases)来自计算机系统外部，它们“生活在”社会制度当中，存在于开发者的个人偏见或态度之内，并被机构与个人有意识地或尤意识地嵌人计算机系统之中。 第4章数据利益与数据文化 121 ## PDF_PHYSICAL_PAGE_INDEX=136 | PRINTED_PAGE=122 “技术偏见”(technicalbiases)来自“技术限制或技术考量”，如硬件或软件的限制，或特定算法的使用。由于应用环境的限制，系统无法平等对待所有群体。这种偏见不仅体现在伪随机数生成过程的瑕疵之处(例如。系统偏向于选择出现在数据库末端的数字)，同时也体现在我们在上一章提到的分类系统中(例如，系统不能细致全面地再现具体的年龄变化过程)。 “涌现偏见”(emergentbiases)只有在计算机系统被用于人口或文化价值发生变化的特定情境中时才会出现。例如，当一个为特定用户群体设计的接口被用在其他情境中时，其他有不同需求的用户可能无法得到该接口的充分支持(Friedman&Nissenbaum，1996：333-336)。 基于以上分类，弗莱德曼与尼森鲍姆认识到，计算机系统之中的偏见不仅仅是技术问题，也是一系列社会、技术甚至是个人有意识或无意识的综合作用产生的结果。所有这些因素都会对不同价值与利益在系统之中的定位及其处理方式的特定设计产生影响。最关键的是，这说明了计算机技术设计是如何在不同利益相关团体所持不同价值之间做出妥协的。 因此.使用价值敏感设计的目的在于开发出一种分析框架与方法，以解决计算机技术设计当中不同利益相关方的需求与价值之间的冲突(Umbrello and De Bellis,2018;Umbrello.2019)。通过这种方式，技术中的内在利益冲突被看作是需要在计算机技术设计与实际应用中得以解决的伦理困境或道德问题。同样，这种方法也试图将不同利益相关团体持有的不同价值工具化，并将它们直接引人设计过程当中进行处理(Umbrello，2019：3)。 例如，随着“利益”越来越多地被嵌入数字数据技术之中，我们可以通过价值敏感设计框架来审视隐私问题——作为利益相关群体(如数字权利组织)持有的一种价值，它如何受到数据密集型技术设计的不利影响？然而，正如前文所说，我们也可以提出一种替代 权力的数据伦理学：大数据与人工智能时代的人本方法新解 122 ## PDF_PHYSICAL_PAGE_INDEX=137 | PRINTED_PAGE=123 性技术，让其在设计时特意加入保护隐私的组件(如“隐私设计”； Cavoukian，2009)，以提高隐私价值。 21世纪10年代末，在关于人工智能偏见性应用的一系列现实例子中，有一种声音一直此起彼伏。他们认为：计算机系统可能早在设计之初就已经嵌入了某种偏见，因此当被用于替代人类做出决策之时，它们可能会做出带有歧视性的决定。例如，2020年对美国波士顿患者群体的研究显示：对等待肾脏移植患者健康状况进行评分的算法，通过设计，将种族作为其评分考量的一个类别，给非裔美国人打出了更高的健康评估分数(Simonite，2020-10-26)。另一个例子来自Beauty.ai美妆大赛的机器人评委。它本应为人类提供一种绝对的人类审美标准，然而人们却发现，它倾向于将浅色皮肤的参赛者作为训练数据的来源。还有一个例子来源于数码相机的面部识别软件，这些软件将亚裔的照片污名化为眯眯眼的歧视形象(Mehrabi et al.，2019)。 在重点关注技术设计的同时，越来越多的价值敏感设计学者正在将其视线由利益相关方的价值扩展到技术设计协商的治理环境当中。史蒂文·乌姆布雷洛(StevenUmbrello)研究了利益相关方的利益在“人工智能协调”(他所说的“有益的人工智能”研究与开发中所涉及的利益相关方的协调)中的协商方式，这可以看作是价值敏感设计方法应用的一个典型案例(Umbrello，2019：4)。在这个例子中，作者研究了英国人工智能特别委员会关于多利益相关方的政策进程。该委员会由英国政府于2017年任命，专门负责考查人工智能的经济、伦理与社会影响并提供相应建议。具体分析流程如下：首先，识别委员会证据报告当中的具体价值(数据隐私、可访问性、责任制、同责制、透明度、可解释性、效率、许可性、包容性、多样性、安全性和可控性)；接着·直接从参与委员会的各利益相关团体(学界、非营利机构、政府机构和行业营利机构）当中追溯这些价值；最后、对它们在报告当中的价值分配进行等级排序(Umbrello，2019：7)。 第4章数据利益与数据文化 123 ## PDF_PHYSICAL_PAGE_INDEX=138 | PRINTED_PAGE=124 数据利益 基于前面章节、我们已经知道：权力分布在大数据社会信息架构当中。因此.数据可以被视为构成 AISTIs与BDSTls架构的重要资源。自然而然、数据也就成了社会利益的锚点。这就是我为什么认为我们需要对所说的“数据利益”尤为警惕。数据利益可以被定义为一种隐藏在数据技术设计之中的动机或意向，在存储、处理与分析数据时支持某些利益的能动性。这里，我将数据利益看作是一种为满足特定需求、价值或目标而在数据上采取指令性行动的意向。其中，最重要的是，要将数据看作是一种资源。类似的数据利益包括：数据之中的政治利益、商业利益、科学利益、技术性人工智能模型利益或是个人数据当中的个体利益。我认为，所有这些利益不仅交织在数据技术的设计之内，而且融合在了试图塑造AISTIs与BDSTls演变的治理活动当中。 我提议，我们应该尝试去探究如何将不同利益融合在一般知识框架以及基于价值的世界观之中，通过标准化实践、研发与采用的方式，来塑造AISTI或BDSTI等社会技术系统的技术动量。 让我们看两个关于数据利益作用于智慧城市AISTIs设计与发展过程的例子。 第一个例子来自巴塞罗那，它是欧洲第一批实施“数据驱动型智慧城市基础设施”智慧城市倡议的国家之一。这些基础设施包括：能够搜集有关交通、能源与空气质量等数据的广泛物联网(1oT)传感器网络；拥有6000辆自行车的自行车共享系统：能够引导司机到达空闲车位的地下无线传感器；具有智能数据收集垃圾桶的垃圾管理系统；以及具有检测何时需要照明的智能传感智慧照明系统，并且该系统能够减少热量的产生节约能源(Heremobility，2020)。当然，这个数据密集型网络还包括人类用户数据，它能感知并且作用于移动环境，但大多数在城市中生活的百姓对此熟视无睹。相反，那些希望从这些数据资源当中获取利益的所有大型主体对其存在却是洞若观火：商业主体希望利用这些数据来个性化训练并提升服务；科学家希望利用这些数据改进其实验结果；国家主体希望利用这些数据使服务与流程更为高效，并能更好地掌控城市。因此，巴塞罗那的智慧城市AISTIs数据资源当中融合了多方不同利益。其中的主要风险在于：在城市的数据设计过程之中，只有部分主流利益得到了满足。然而，在2015年，新任市长阿达·科洛(AdaColau)与城市首席数字技术兼创新官弗朗切斯科·布里亚(FrancescaBria)一道将智慧城市规划引领到了全新的方向。他们将城市的基础设施转变为“人民共享、人民共治”的数据基础设施。为此·他们为巴塞罗那市制定了一个全新的数字化转型议程——将“数据视为公共财产”。具体议程包括：向城市企事业生态系统开放数据：将中小企业纳入信息与通信技术部门：赋予公民权利，让他们能够有选择性地披露自己想要分享的信息(Heremobility。2020)。同时，巴萨罗那与阿姆斯特丹还成为欧洲DEC(DE项目的试点城市，该项目制定了新的智慧城市规划与工具、使得公民能够自主选择数据的分享方式以及分享对象①。 权力的数据伦理学：大数据与人工智能时代的人本方法新解 124 ## PDF_PHYSICAL_PAGE_INDEX=139 | PRINTED_PAGE=125 第二个关于数据利益在城市设计当中发挥作用的例子是中国科技巨头阿里巴巴开发的“城市大脑”人工智能数据系统。该系统能实时监控杭州市道路上的每一辆车，极大地缓解了交通拥堵。不仅如此，它还具备其他广泛的应用功能：持续监控交通视频录像，留意碰撞或事故迹象，并提醒警方：集中管理来自交通运输局、公共交通系统、地图软件以及数十万台摄像机的数据。通过上述方式，它不仪可以自动检测交通事故并做到快速响应，而且还能实时追踪违规停车等非法行为(Beall，2018-5-30)。与巴寒罗那的数据系统一样.城市大脑中数据系统同样有利益介人。然而，这两个智慧城市最关键的区别在于：城市大脑其础设施设计之中并没有纳入公民的监督与控制。杭州城市系统产生的海量数据主要服务于执法部门、中国政府与私营公司(阿里巴巴)。 第4章数据利益与数据文化 ①DECODE项目参见：https://decodeproject,eu. 125 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/1794a2f7-7f5b-4e9a-ab89-fc95e5b474ed.md?start=140&limit=10)