比特与原子：信息时代的政治经济学

总是有身体附在身上。”事实上，大多数在线活动不再是(也许从来都不是)与其他人类用户的交流，而是与机器的互动。目前关于网络流量的统计数据已经给了机器一点优势，51%的活动是人类以外的(Foremski,2012)，而且这一统计数据预计将以加速的速度增长(Cisco Systems,2012)。即使有人怀疑实现传统上所谓的“强人工智能”的可能性，但事实是，我们的世界已经充斥着半智能的人工制品、社交机器人、自主算法和其他智能设备，它们在社会关系和交流互动中占据了他者的位置。

下面将研究这些越来越负责任的机器所带来的机遇和挑战——这些机器是为我们设计的，并且能够作为另一个自主代理对我们做出反应，这样做可能对某种程度的权利、责任或两者兼而有之有合法的要求。对这一问题的研究将分三步或三步进行:第一步将回顾我们通常处理技术和道德责任的方式。因此，它将针对并重新考虑技术的工具论，该理论将机器定义为服务于人类利益的工具或发明。第二部分将考虑自主技术给这一默认设置带来的机遇和挑战。机器人技术、学习算法和决策系统的最新发展超越了工具理论的概念界限，并要求我们重新评估谁或什么是道德主体。最后，通过结论的方式，第三部分将引出这一材料的后果，解释这种机器入侵对我们、我们的世界以及我们在这里遇到的其他实体意味着什么。

默认设置

最初，“负责任的机器”这个概念可能听起来很荒谬。哪个头脑正常的人会为此辩解呢?又有谁敢说，一件技术制品可以或应该被认为是一个自主的主体?我们和人类之间的麻烦还不够多吗?那为什么还要搅浑水呢?这种推理听起来直觉上是正确的。实际上，似乎没什么可谈的。机器，甚至是计算机、智能手机、软件算法、机器人等复杂的信息处理设备，都是技术，而技术仅仅是人类创造和使用的工具。一个机械或技术对象，没有任何意义和意义

72负责任的机器

10.15215/aupress/9781771991292.01

自身不做任何事;最终重要的是它被人类用户使用的方式。

这种常识性的评价是由通常提供给技术问题的答案构成的。

当我们问技术是什么时，我们就会问有关技术的问题。每个人都知道回答我们问题的两种说法。一种说法是:技术是达到目的的手段。另一种说:技术是一种人类活动。技术的这两种定义是相辅相成的，因为设定目的并获取和利用达到目的的手段是一种人类活动。设备、工具和机器的制造和使用，被制造和使用的事物本身，以及它们所服务的需求和目的，都属于技术的范畴(海德格尔，1977:4-5)。

根据海德格尔的深刻分析，任何一种技术，无论是手工业的产物还是工业化制造的产物，其假定的作用和功能都是人类使用者为实现特定目的而使用的一种手段。海德格尔将技术的这种特殊特征称为“工具定义”，并指出它形成了对任何一种技术发明的“正确”理解(1977:5)。

正如安德鲁·芬伯格(1991:5)在他的《技术批判理论》的引言中所描述的那样，“工具主义理论提供了最广泛接受的技术观点。”它基于一种常识性观念，即技术是随时准备为用户服务的工具’。”因为一件工具“被认为是中性的’，没有它自己的价值内容”(芬伯格，1991:5)，所以对一件技术制品的评估不是它本身，而是基于它的设计者或使用者决定的特定用途。让-弗朗索瓦·利奥塔在《后现代状况》中简洁地阐述了这种情况的后果：

技术装置起源于人体器官的假体辅助装置或生理系统，其功能是接收数据或调节环境。它们遵循一个原则，这就是最佳性能原则:最大限度地输出(获得的信息或修改)和最小限度地输入(在这个过程中消耗的能量)。因此，技术是一场与真实、公正或美丽等无关的游戏，而是与效率有关的游戏:当一项技术“行动”比另一项做得更好和/或消耗的能量更少时，它就是“好的”。(利奥塔，1984:44)

David J. Gunkel73

10.15215/aupress/9781771991292.01

利奥塔首先肯定了技术是人类活动的工具或延伸的传统理解。考虑到这一“事实”——它被陈述得好像是无可置疑的东西——他接着对技术机器在认识论、伦理学和美学中的适当位置提供了解释。根据他的分析，一个技术装置，无论是一个简单的开瓶器，一个机械钟，还是一台数字计算机，本身都不会参与到真理、正义或美的大问题中来。技术只是和效率有关，这是无可争议的。一个特定的技术“举动”或创新被认为是“好的”，当且仅当它被证明是实现用户指定目标的更有效的手段。

但工具理论不仅仅是哲学反思的问题;它也为人工智能(AI)和机器人技术的工作提供信息，并作为概念背景，即使它通常不被认为是这样。“机器人行为的法律和道德责任，”乔安娜布莱森(2010:69)断言，“应该与其他AI系统没有什么不同，这些与任何其他工具一样。通常，工具造成的损害是操作员的过错，从中受益是操作员的功劳....我们永远不应该谈论机器做出道德决定，而是机器在我们为它们设定的限制内正确运行。”对布莱森来说，机器人、软件算法和其他复杂的AI系统与其他技术产物没有什么不同。它们是人类制造的工具，被人类用户用于特定目的，因此仅仅是“用户的延伸”(布莱森,2010:72)。因此，布莱森可能会同意马歇尔·麦克卢汉的观点，后者将所有技术都描述为媒体—一字面上是影响或传递的手段——所有媒体都是“人的延伸”(麦克卢汉，1995)。

作为人类能力的延伸或增强，复杂的技术设备，如机器人、人工智能和其他计算机系统，不被认为是与它们一起或通过它们执行的行为的负责任的代理人。“道德”，正如J. Storrs Hall(2001:2)所指出的，“落在人类的肩上，如果机器改变了做事的便利性，它们并没有改变做这些事的责任。人一直是唯一的“道德行为者”。’”这一表述不仅听起来头脑冷静、合情合理，而且是计算机伦理学的标准操作假设之一。尽管自1976年WalterManer首次提出“计算机伦理学”一词以来，“计算机伦理学”的不同定义一直在流传，但它们都有一种工具主义的观点，即赋予人类设计者和用户道德能动性。黛博拉认为

74

Responsible Machines

10.15215/aupress/9781771991292.01

约翰逊被认为撰写了该领域的议程设置教科书，他说：“计算机伦理学原来是对人类和社会的研究一一我们的目标和价值观，我们的行为规范，我们组织自己和分配权利和责任的方式，等等”(约翰逊，1985:6)她认识到，计算机经常以创新和具有挑战性的方式将这些人类价值观和行为“工具化”，但底线是并且仍然是人类代理人设计和使用(或滥用)此类技术的方式。

即使面对似乎越来越复杂的技术发展，约翰逊仍然坚持这一观点。“计算机系统，”她在最近的一篇文章中写道，“是由从事社会实践和有意义的追求的人们生产、分发和使用的。当前的计算机系统是如此，未来的计算机系统也是如此。无论未来的计算机系统如何独立、自动和互动，它们都将是人类行为、人类社会制度和人类决策(直接或间接)的产物”(约翰逊，2006:197)。以这种方式理解，计算机系统，无论它们可能变得多么自动、独立或看似智能，“不是也永远不可能是(自主、独立的)道德行为体”(约翰逊，2006:203)。它们将像所有其他技术人工制品一样，永远是人类价值、决策和行动的工具。

因此，根据工具理论，通过机器进行的任何动作最终都是某些人类代理人的责任一一系统的设计者、设备的制造商或产品的最终用户。如果出现问题或有人受到机制的伤害，“某些人应该为设置程序做这样的事情而受到指责”(Goertzel,2002: 1)。按照这一论点，可以得出结论，所有机器的行为都应归功于或归咎于人类程序员，制造商或操作员。从这个角度来看，把责任推给机器不仅是荒谬的，而且是不负责任的。Mikko Siponen(2004: 286)认为，把能动性归咎于机器，会让人“开始把我们的错误归咎于计算机。换句话说，我们可以声称‘这不是我做的——这是计算机的错误’，而忽略了这样一个事实，即软件是由人编程的，以以某种方式行事’，因此，人们可能偶然或有意地造成了这个错误(或者用户对这个错误的原因做出了其他贡献)。

这一见解被一句流行的谚语编纂为“可怜的木匠怪自己的工具”。换句话说，当出现问题或在涉及技术应用的情况下出现错误时，是工具的人类设计师、制造商或操作员，而不是工具本身

David J. Gunkel75

10.15215/aupress/9781771991292.01

应该受到指责。责备工具不仅在逻辑上是不正确的，因为工具只是人类行为的延伸，而且在伦理上是可疑的，甚至是“危险的”(Johnson and Miller, 2008: 124)，因为这是人类代理人经常试图转移或避免为其行为承担全部责任的方式之一。AbbeMowshowitz(2008:271)认为，“通过赋予技术自主代理的属性，人类在伦理上被边缘化了。个人被免除了责任。被不可抗拒的力量控制的暗示为拒绝为自己和他人负责提供了借口。”因此，责备计算机(或任何其他技术)至少犯了两个根本性的错误。首先，它错误地把能动性归于仅仅是一种工具或无生命的物体。这种逻辑错误错误地把一个被动的客体变成了一个主动的主体。用康德的语言来说，它混淆了手段和目的。其次，它允许人类使用者通过把责任推给其他东西来转移道德责任。换句话说，它允许人类用户把计算机当作替罪羊(Nissenbaum,1996: 35)，并为自己的行为转移责任。

新常态

器乐理论不仅听起来合理，而且显然是有用的。有人可能会说，在这个技术系统日益复杂的时代，它有助于解析责任问题。它有一个明显的优势，它将责任置于一个被广泛接受的、看似直观的主体位置，即人类的决策和行动中，它抵制任何和所有通过指责或替罪羊来将责任推给一些无生命的物体的努力，这些物体仅仅是工具、发明或工具。然而，与此同时，这种特殊的表述也有重大的理论和实践局限性，特别是当它适用于(或不适用于)最近的技术创新时。

首先，工具理论把所有的技术，无论设计、构造或操作，都归结为一种工具——一种人类能动性的工具、假体或媒介。然而，“工具”并不一定包括所有的技术，也不穷尽所有的可能性。也有机器。尽管正如卡尔·马克思(1977:493)指出的那样，“力学专家”经常混淆这两个概念，称“工具是简单的机器，机器是复杂的工具”，但这两者之间存在着重要而关键的区别，这种区别最终与机构的位置和分配有关。这一本质区别的迹象可以在一个简短的插话中找到

10.15215/aupress/9781771991292.01

由海德格尔在1954年的文章《关于技术的问题》中提出。海德格尔在提到他使用“机器”一词来描述喷气式客机时写道：“在这里，讨论黑格尔将机器定义为自主工具是合适的[selbständigen Werkzeug]”(1977:17)。海德格尔引用的是黑格尔1805-1807年的《耶拿讲座》(JenaLectures)，其中“机器”被定义为一种自给自足、自力更生或独立的工具，但没有提供完整的引文。尽管海德格尔立即驳回了这一选择，认为这与他质疑技术的方式不合适，但兰登·温纳在《自主技术》冲中接受并持续考虑了这一选择，

自治就是自治、独立，不受外力法则的支配。在康德的形而上学中，自主性指的是自由意志的基本条件一一意志遵循自己赋予自己的道德法则的能力。康德将这种观念与“他律”对立起来，“他律”是指意志受外在法则的支配，即自然的决定论法则。从这个角度来看，一提到自主技术就会引发一种令人不安的讽刺，因为预期的主体和客体关系完全颠倒了。我们现在正在倒过来阅读所有的命题。说技术是自主的，就是说它是非他律的，不受外部规律支配。而适合于技术的外部规律又是什么呢?似乎是人的意志。(1977年获奖:16)

“自主技术”是指通过故意争夺和重新定位代理分配而直接违背工具论的技术装置。这样的机制并不是由人类代理人根据自己的意志来指挥和使用的他律工具，而是以这样或那样的方式占据了自主代理人的位置。正如马克思(1977:495)简洁地描述的那样，“因此，机器是一种机械，在启动之后，它使用自己的工具来完成与工人以前使用类似工具所做的相同的操作。”这样理解的话，机器所占据的不是工人的手工工具，而是工人自己，即使用工具的主动和自主的代理人。

其次，自主机器不仅是科幻小说的永恒宠儿(从玛丽·雪莱(MaryShelley)的《弗兰肯斯坦》(Frankenstein)中的怪物到HAL 9000计算机等)，而且如果还没有成为社会现实的一部分，也正在迅速成为科学事实。根据雷·库兹韦尔的估计，引爆点

David J. Gunkel77

10.15215/aupress/9781771991292.01

“在几十年内，基于信息的技术将涵盖人类所有的知识和能力，最终包括模式识别能力，解决问题的技能，以及人类大脑本身的情感和道德智能”(库兹韦尔，2005)。同样，汉斯·莫拉维克预测，不仅人类的智力水平会在相对较短的时间内达到，而且最终会超越它，这将使人类实际上被淘汰，成为我们自身进化成功的牺牲品。

我们已经非常接近这样一个时代，那时人类的基本功能，无论是身体上的还是精神上的，几乎都不缺人工的对应物了。这种文化发展趋同的体现将是智能机器人，一种可以像人类一样思考和行动的机器，无论它在身体或精神细节上多么不人道。这样的机器可以在没有我们、没有创造我们的基因的情况下，继续我们的文化进化，包括它们自己的构建和日益快速的自我完善。当这种情况发生时，我们的DNA会发现自己失去了工作，在进化竞赛中输给了一种新的竞争(莫拉维克,1988: 2)。

就连罗德尼·布鲁克斯(RodneyBrooks)等看似脚踏实际、头脑冷静的工程师也预测，机器智能将在短短几十年内达到与人类能力相当的水平。布鲁克斯以其“无脑”机器人挑战莫拉维克和AI权威而闻名。“我们幻想中的机器，”布鲁克斯写道，指的是科幻小说中流行的机器人(如HAL、3CPO、Lt. Commander Data等)，“有语法和技术。它们也有情感、欲望、恐惧、爱和骄傲。而我们真正的机器没有。在第三个千年的开端，似乎是这样。但一百年后又会是什么样子呢?我的论点是，在短短20年内，幻想与现实之间的界限将被撕裂”(布鲁克斯，2002:5)。

对人类水平(或更好)的机器智能的预测，尽管助长了富有想象力和娱乐性的小说形式，但在很大程度上仍然是未来主义的。也就是说，它们解决了AI和机器人领域可能取得的成就，这些成就可能发生在尚未完全开发、原型化或经验证明的技术或技术上。因此，严格的工具主义者往往能够将这些预测视为一厢情愿的想法或猜测。如果说AI的历史有什么启示的话，那就是我们有充分的理由持怀疑态度。事实上，我们以前也听过这种异想天开的假设，只是一次又一次地失望。正如Terry Winograd(1990,167)在对进步(或缺乏进步)的诚实评估中所写的那样

78

《负责任的机器》

10.15215/aupress/9781771991292.01

在学科上，“人工智能还没有实现创造力、洞察力和判断力。但它的缺点要平凡得多:我们还没有能够制造出哪怕是一点点常识的机器，也没有能够用普通语言就日常话题进行对话的机器。

尽管存在这些缺点，但目前的实施和工作原型似乎具有一定程度的自主性，并使机构的确定和分配复杂化。例如，有一些学习系统，这些机制不仅可以在很少或根本没有人类指导或监督的情况下做出决策并采取现实世界的行动，而且还可以根据这些操作的结果修改自己的行为规则。这些机器现在在商品交易、交通运输、医疗保健、制造业甚至文化中相当普遍，它们似乎不仅仅是工具。例如.考虑一下过去15年来金融和商品交易市场发生了什么。有一段时间，纽约证券交易所或芝加哥期权交易所的交易是由“坑里”的人类交易员发起和控制的。从20世纪90年代末开始，金融服务机构开始开发算法来接管大部分工作(Steiner,2010)。这些算法更快、更高效、更一致，并且由于这一切，可以通过利用市场价格的瞬间差异来获得令人难以置信的利润。这些算法分析市场、做出决策和发起行动的速度比人类的理解速度更快，并且设计了学习子程序，这些子程序可以改变它们的初始编程，以便能够对新的和意想不到的机会做出反应。这些东西都起作用了;它们为金融服务业创造了难以置信的收入。因此，现在超过70%的交易都是由机器生成和控制的(Scott,2012:这意味着我们的金融状况——不仅是我们的抵押贷款和退休储蓄，而且是国家和全球经济的很大一部分一—现在都是由机器来指导和管理的，这些机器被设计成具有相当程度的自主性。

由此产生的社会后果可以从一个被称为“闪电崩盘”的重大事件中看到。2010年5月6日下午2点45分左右，道琼斯工业平均指数在几秒钟内下跌了1000多点，然后又以同样快的速度反弹。这一跌幅约占市场总价值的9%，即1万亿美元，是由几个交易算法相互作用和响应造成的。换句话说，没有人发起了这个动作，没有人控制了这个事件，也没有人可以被认为对这个事件负责

David J. Gunkel79

10.15215/aupress/9781771991292.01

它的结果。这是由算法承担和监督的事情，人类经纪人只能被动地看着事情在他们的监视器屏幕上展开，不知道发生了什么，是谁制定的，也不知道为什么。直到今天，没有人确切知道到底发生了什么(斯拉文2010)。换句话说，没有人确切知道是谁，甚至是什么造成了这场短暂的金融危机。

在涉及文化消费和生产的情况下，可以找到机器自主性的一个不那么邪恶的例子。目前，Netflix、亚马逊和其他地方的推荐算法越来越多地决定了我们访问和体验的文化对象。据估计，通过Netflix获得的所有内容中有75%是机器生成推荐的结果(Amatriain和Basilico,2012)。因此，这些算法实际上接管了电影、书籍和音乐评论家的工作，并在很大程度上影响着人们看什么电影、读什么书、听什么音乐。但是，机器不仅仅涉及文化产业的发行和展示方面;在创意方面，它们也在积极参与。比如在新闻领域，算法现在写的都是原创内容。除了目前充斥网络的简单新闻聚合器之外，这些程序，比如西北大学的StatsMonkey，可以从机器可读的统计数据中自动撰写可发布的故事。像“十大网络”这样的组织目前使用这些程序来开发网络分发的内容(斯拉文，2010:218)。这些应用程序虽然明显处于开发的早期阶段，但最近却领导了XMLToday的执行编辑Kurt Cagle。org，挑衅地询问AI是否可能在2030年竞争并赢得普利策奖(Kerwin,2009:1)。

类似的转变也发生在音乐领域，算法和机器人积极参与到创作过程中。例如，在古典音乐领域，有DavidCope的音乐智能实验或EMI(发音为“Emmy”)，这是一个算法作曲家，能够分析现有的作品并创造新的、原创的乐谱，这些乐谱实际上与巴赫、肖邦和贝多芬的经典作品没有什么区别(Cope 2005)。然后是Shimon，一个来自佐治亚理工学院的马林巴爵士机器人，它不仅与人类音乐家实时即兴演奏，而且“旨在与人类创造有意义和鼓舞人心的音乐互动，从而带来新颖的音乐体验和结果”(佐治亚理工学院，2013;Hoffman and Weinberg, 2011)。

尽管人们在多大程度上可以将“代理”和“责任”分配给这些机制仍然是一个有争议的问题，但没有争论的是

80Responsible Machines

10.15215/aupress/9781771991292.01

事实上，游戏规则已经发生了重大变化。Andreas马蒂亚斯在总结他对自动机学习的研究时指出：

目前有一些正在开发或已经投入使用的机器，它们能够决定行动路线，并在没有人为干预的情况下采取行动。它们行动的规则在生产过程中并不是固定的，而是可以在机器运行过程中由机器自己改变的。这就是我们所说的机器学习。传统上，我们要么认为机器的操作员/制造商对其操作的后果负责，要么认为“没有人”(在无法识别个人过错的情况下)。现在可以证明，有越来越多的机器行为类别，其中传统的责任归属方式与我们的正义感和社会的道德框架不兼容，因为没有人对机器的行为有足够的控制权.能够为它们承担责任。(马蒂亚斯，2004:177)

换句话说，曾经有效地将机器行为束缚在人类能动性上的技术的工具性定义，不再充分适用于那些被刻意设计为运行和表现出某种形式(无论多么初级)的独立行动或自主决策的机制。重要的是要强调，这并不意味着工具定义就此被驳倒了。已经存在并将继续存在被人类用户理解和利用为工具的机制(即割草机、开瓶器、电话、数码相机等)。问题的关键在于，无论工具主义的定义在解释某些技术设备时在某些情况下是多么有用和看似正确，但它并没有穷尽所有类型设备的所有可能性。

最后，除了复杂的学习自动机和机器人之外，还有一些普通的对象，如在线聊天机器人和非玩家角色，即使没有证明这一点，至少也会使工具主义的假设复杂化。例如，米兰达·莫布雷(MirandaMowbray)研究了在线社区和大型多人在线角色扮演游戏(mmorpg)中道德代理的复杂性。

网络社区的兴起导致了一种通过在线角色进行实时、多人互动的现象。一些在线社区技术允许创建机器人(根据软件程序而不是由人类直接控制的角色)

David J. Gunkel8

81

10.15215/aupress/9781771991292.01