---
schema_version: "library-reader-v1"
source_type: "original_book"
title: "AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的..."
author: null
edition: null
publisher: null
year: null
isbn: null
library_document_id: "75afffda-b96b-4df5-89ff-2ec037cfed66"
source_sha256: "21c9bed4763f96ba9dce4c4e24be07b2ddb63e08acce9107a510c1026714c784"
pdf_physical_page_count: 491
pdf_physical_page_index_base: 0
range_start: 200
range_count: 10
html_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66?start=200&limit=10"
markdown_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=200&limit=10"
previous_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=190&limit=10"
next_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=210&limit=10"
---
# AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...
> 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。
## PDF_PHYSICAL_PAGE_INDEX=200 | PRINTED_PAGE=NOT_DETECTED
我们都曾听说过，人工智能将会接手那些人类所讨厌的工作，如那些枯燥无聊、令人疲倦、有辱人格或者极其危险又工资低廉的工作。如果这种情况真的发生了，那将会真正有利于增加人类社会福祉。随后我将讨论这个问题的另一面：人工智能夺走了太多人类的工作。尽管还有许多工作超出了机器人目前的能力，但机器人已经被广泛地用于琐碎和重复的工厂任务了，随着人工智能的发展，越来越多的这类工作可能会被自动化的机器人取代。未来人工智能应用的具体实例包括：自动驾驶卡车和出租车，用于收割水果、扑灭大火、扫除地雷和清理环境等。除此之外，机器人可能会在太空探索中发挥出比目前更大的作用。
让人工智能来接管这些工作真的能够造福社会吗？我们可以回顾一下科技的发展历史，来从中得到一些启发。以下是人类曾经从事过但在很久以前就已经实现自动化了的一些工作的示例（至少在发达国家是这样）：洗衣工、人力车夫、电梯操作员、punkawallah (23) 和计算员 (24) 。大多数人会认同：在以上这些例子中，使用机器代替人类做这些工作，确实让生活变得更美好了。有人可能会争辩说，如今的人工智能只是简单地延续了人类的进步路线，将那些必要的但却没人想做的工作逐渐实现自动化，从而改善人类的生活。
人工智能大权衡：我们是该拥抱，还是谨慎
## PDF_PHYSICAL_PAGE_INDEX=201 | PRINTED_PAGE=NOT_DETECTED
吴恩达曾乐观地宣称：“人工智能是新‘电能’。”他进一步解释道：“正如100年前电能几乎改变了所有行业一样，今天我真的很难想到有哪个行业在未来几年内是不会被人工智能改变的。” 2 有一个很有吸引力的类比：很快人工智能就会如电能一样，尽管看不到，但对电子设备来说却非常必要。电能与人工智能的一个主要的区别在于，电能在被广泛商业化之前就已经被充分认识，我们非常了解电能的功用，而对于如今许多人工智能系统的情况，我们却没有足够的认识。
这 将 带 来 所 谓 的 人 工 智 能 大 权 衡 （ great AI trade-off）。我们是应该拥抱人工智能系统，利用其能力来改善我们的生活，甚至帮助拯救生命，并且允许这些系统被更加广泛地使用呢，还是考虑当下人工智能存在难以预见的错误、易受偏见影响、易被黑客攻击以及缺少透明度等特点，应该更谨慎地使用人工智能来制定决策？对不同的人工智能应用，人类需要在多大程度上参与其中？为充分信任人工智能并使其自主工作，我们应该对人工智能系统提出哪些要求？尽管人工智能应用的部署越来越多，并且以之为基础的未来应用（如自动驾驶汽车）刚诞生就得到了吹捧，但这些问题仍在激烈讨论中。
皮尤研究中心（Pew Research Center）的一项研究表明：人们在这些问题上普遍缺乏共识 3 。2018年，皮尤的分析师征集了近千名相关人士的意见，其中包括技术先驱、创新者、研发人员、商业和政策领袖及活动家等，并要求他们回答如下问题：
## PDF_PHYSICAL_PAGE_INDEX=202 | PRINTED_PAGE=NOT_DETECTED
你是否会认为，到2030年，先进的人工智能和相关技术系统很有可能会增强人类能力并为人类赋能？也就是说，那时，大多数人在大多数时候会比今天生活得更好？还是说，先进的人工智能和相关技术系统很有可能会削减人类的自治权和代理权，使得那时大多数人的状况并不会比当前更好呢？
受访者分为了两派：63%的人认为2030年人工智能的进步将使人类的状况变得更好，而37%的人则不这么认为。有人认为人工智能实际上能够消除全球贫困，大规模减少疾病，并为地球上绝大多数人提供更好的教育。有人则对未来有一种相当悲观的预测：大批的工作被自动化技术接管导致的人类失业；由于人工智能监视而造成的对公民的隐私和权利的侵犯；不道德的自动化武器；由不透明和不可信的计算机程序做出的未经审查的决策；种族和性别偏见被放大；大众媒体被操纵；网络犯罪增多等。一位受访者将未来的世界描述为：“真实，但与人类无关。”
机器智能引发了一系列棘手的伦理道德问题，与人工智能和大数据伦理相关的讨论已经可以写满好几本书了 4 。为了说明这些问题的复杂性，我将对一个在当前已经引起人们大量关注的案例展开深入探讨：人脸识别。
人脸识别的伦理困境
## PDF_PHYSICAL_PAGE_INDEX=203 | PRINTED_PAGE=NOT_DETECTED
人脸识别是使用文字来标注图像或视频中的人脸的任务。例如，Facebook将人脸识别算法应用到上传至其网站的每张照片上，尝试检测照片中的人脸并将其与已知的用户（至少是那些未禁用此项功能的用户）进行匹配 5 。如果你在Facebook的平台上，并且某人发布了一张包含你的脸的照片，系统可能会询问你，是否要在照片中标记自己。Facebook人脸识别算法的准确性令人惊叹，但同时也令人害怕。不出所料，这种准确性源自对深度卷积神经网络的使用。该软件不仅可以对图像中位于中心位置的正脸进行人脸识别，而且可以对人群中的某一个人的脸进行识别。
人脸识别技术有许多潜在的好处，比如，帮助人们从照片集中检索图像；使视力受损的用户能够识别他们所遇到的人；通过扫描照片和视频中的人脸定位失踪儿童或逃犯，以及检测身份盗用等。我们也很容易想得到会有许多人认为这种应用程序具有侵犯性或威胁性。例如，亚马逊向警方推销了它的人脸识别系统（使用了一个 奇 怪 的 听 起 来 像 是 反 乌 托 邦 式 的 名 称“Rekognition”），该系统可以将安保相机拍摄的视频与一个已知罪犯或嫌疑人的数据库进行比对，但许多人为该系统可能造成的隐私侵犯问题感到担忧。
隐私问题是人脸识别技术应用中一个显而易见的问题。即便我不使用Facebook或任何其他具有人脸识别功能的社交媒体平台，我的照片也可能会在未经我允许的情况下被标记并随后在网上被自动识别，想一想提供收费人脸识别服务的FaceFirst公司。据《新科学家》（New Scientist ）杂志报道：“FaceFirst正在面向零售商推出一套系统，据称这套系统可以通过识别每次购物的高价值客户来进行促销，而当多次被投诉的顾客进入任何一家门店时，该系统就会发出警报。” 6 还有许多其他公司提供类似的服务。
## PDF_PHYSICAL_PAGE_INDEX=204 | PRINTED_PAGE=NOT_DETECTED
失去隐私并不是唯一的风险，人们对于人脸识别还有一个更大的担忧，那就是可靠性：人脸识别系统会犯错。如果你的脸被错误匹配，你可能会被禁止进入一家商店、搭乘一架航班，或被错误地指控为一名罪犯。更重要的是，目前的人脸识别系统已经被证明对有色人种进行识别时明显比对白人的识别错误率更高。强烈反对使用人脸识别技术来对公民权利进行执法的美国公民自由联盟（American Civil Liberties Union, ACLU），用535名国会议员的照片对亚马逊人脸识别产品Rekognition系统进行了测试（使用其默认设置），将这些议员的照片与因刑事指控而被捕的人员数据库进行了比较，他们发现，该系统错误地将535名国会议员中的28人与犯罪数据库中的人员匹配上了。在非洲裔美国人议员中，照片的识别错误率更是高达21%（非洲裔美国人只占美国国会议员的9%） 7 。
美国公民自由联盟的测试和其他研究结果显示出了人脸识别系统的不可靠性和偏见的附加后果，因此，许多高科技公司宣布他们反对将人脸识别用于执法和监管。举例来说，人脸识别 公 司 Kairos 的 首 席 执 行 官 布 莱 恩 · 布 拉 肯 （ BrianBrackeen）就在一篇广为流传的文章中写道：
## PDF_PHYSICAL_PAGE_INDEX=205 | PRINTED_PAGE=NOT_DETECTED
用于对嫌疑人身份进行识别的人脸识别技术，对有色人种造成了负面的影响。这是一个不容否认的事实……我和我的公司已经开始相信，将商业人脸识别系统应用在任何形式的执法或政府监管中都是错误的，它为道德败坏者的明知故犯打开了大门……我们应该追求一个未授权政府对公民进行分类、跟踪和控制的世界 8 。
在微软公司网站上的一篇博客文章中，其总裁兼首席法律顾问布拉德·史密斯（Brad Smith）呼吁国会规范人脸识别系统的使用：
人脸识别技术引发了一些与保障隐私和言论自由等基本人权有关的核心问题，这些问题增加了制造这些产品的科技公司的责任。我们认为，更加周密的政府监管，以及围绕其可接受的用途制定规范是必需的，而这将需要公共部门和私人机构共同采取行动 9
谷歌紧随其后，宣布其不会通过人工智能云平台提供通用的人脸识别服务，直到他们能够确保这一技术的使用符合谷歌的原则和价值观，并能够避免滥用和有害的后果 10 。
## PDF_PHYSICAL_PAGE_INDEX=206 | PRINTED_PAGE=NOT_DETECTED
这些公司的反应令人欣慰，但这又带来了另一个令人困扰的问题：人工智能的研究与开发应在多大程度上受到监管？又应该由谁来监管？
人工智能如何监管以及自我监管
考虑到人工智能技术的风险，包括我在内的许多人工智能从业者，都赞成人工智能技术应该受到某种监管，但是监管不应该仅仅掌握在人工智能研究人员和相关公司的手里。围绕人工智能的问题，比如可信度、可解释性、偏见、易受攻击性和使用过程中出现的道德问题，与技术问题一样，都是牵涉社会和政治方面的问题。于是，围绕这些问题的讨论有必要接纳持有不同观点和具有不同背景的人们。简单地将监管的职责交给人工智能从业者，就像将其完全交给政府机构一样，都是不明智的。
有一个案例可以体现制定此类法规所面临的复杂性，欧盟议会在2018年颁布了一项关于人工智能的法规，有些人称之为“解释权” 11 。这项法规要求，在“自动决策制定”的情况下，任何一个影响欧盟公民的决策都需要提供其中所涉及的与逻辑有关的有意义信息，并且这些信息需要使用清晰明了的语言，以简洁、透明、易懂和易于访问的形式来沟通和传达 12 ，这打开了有关解释问题的闸门。什么叫“有意义”或“与逻辑有关”的信息？这一法规是否禁止在制定对公民有所影响的决策时使用难以解释的深度学习方法？例如在贷款和人脸识别等方面。这种不确定性无疑将确保政策制定者和律师在很长一段时间内仍有取酬就业的机会。
## PDF_PHYSICAL_PAGE_INDEX=207 | PRINTED_PAGE=NOT_DETECTED
我认为对人工智能的监管应该参照其他领域的技术监管，尤其是那些在生物和医学领域的技术，例如基因工程。在这些领域，像质量保证、技术的风险和收益分析这样的监管是通过政府机构、公司、非营利性组织和大学之间的合作而产生的。此外，现在已经建立了生物伦理学和医学伦理学领域，这些领域对技术的研发和应用方面的决策具有相当大的影响。人工智能领域的研究及其应用非常需要深思熟虑的考量和一定的道德基础。
这个基础已经开始形成。在美国，各州政府正在研究制定相关法规，例如用于人脸识别或自动驾驶汽车的法规。更重要的是，创建人工智能系统的大学和公司也需要进行自我监管。
许多非营利性的智库已经出现，并填补了这一空缺，这些智库通常由担忧人工智能的富有的科技公司企业家资助。这些组 织 ， 如 “ 人 类 未 来 研 究 所 ” （ Future of HumanityInstitute ） 、 “ 未 来 生 命 研 究 所 ” （ Future of LifeInstitute）和“存在风险研究中心”（Centre for the Studyof Existential Risk）经常举办研讨会、赞助研究，以及就人工智能的安全与道德问题这一主题编著教育材料，并给出一些政策建议。一个名为“人工智能合作伙伴关系”（Partnershipon AI）的伞状组织 (25) 一直在努力将这类团体聚集在一起，打造一个讨论人工智能及其对人类和社会的影响的开放平台 13
## PDF_PHYSICAL_PAGE_INDEX=208 | PRINTED_PAGE=NOT_DETECTED
目前存在的一个障碍是：该领域在制定监管和道德规范的优先事项方面，尚未达成普遍共识。是应该立即将重点放在能够解释人工智能系统推理过程的算法方面，还是关于数据的隐私方面，或是人工智能系统对恶意攻击的鲁棒性方面，又或是关于人工智能系统的偏见以及关于超级智能潜在的风险方面？我个人的观点是，人们对超级智能可能带来的风险给予了太多关注，而对于深度学习缺乏可靠性和透明性，及其易受攻击性的关注则远远不够。在最后一章中，我将更多地讨论超级智能的概念。
创建有道德的机器
到目前为止，我的讨论集中于人类如何使用人工智能的道德问题，但是还有一个重要的问题：机器本身是否能够拥有自己的道德意识，并且足够完备以使它们能够独立做出道德决策而无须人类监管？如果我们要给予人脸识别系统、无人驾驶汽车、老年护理机器人甚至机器人士兵决策自主权，难道我们不需要把人类所拥有的处理伦理道德问题的能力赋予这些机器吗？
自从人们开始思考人工智能，就开始了关于“机器道德”问题的思考 14 。也许，关于机器道德的最著名的讨论来自艾萨克·阿西莫夫（Isaac Asimov）的科幻小说，他在小说中提出了著名的“机器人三定律” 15 ：
## PDF_PHYSICAL_PAGE_INDEX=209 | PRINTED_PAGE=NOT_DETECTED
第一定律： 机器人不得伤害人类个体，或者对人类个体将遭受的危险袖手旁观；
第二定律： 机器人必须服从人类给予它的命令，当该命令与第一定律冲突时例外；
第三定律： 机器人在不违反第一、第二定律的情况下，要尽可能地保护自己。
这些定律已非常知名，但实际上，阿西莫夫提出机器人三定律的目的是证明这套定律会不可避免地失败。阿西莫夫在1942年首次提出这些定律时讲述了一个名为“逃跑”的故事：如果一个机器人遵循第二定律向危险物质移动，这时第三定律将会生效，机器人随即远离该物质；此时第二定律又重新开始生效。于是，机器人将被困在一个无尽的循环中，最终对机器人的人类主人造成了灾难性的后果。阿西莫夫的故事通常集中讨论把伦理规则编程置入机器人后可能引发的意外后果。阿西莫夫是有先见之明的：正如我们所看到的，不完整的规则和意外所引发的问题已经妨碍了所有基于规则的人工智能方法，道德推理也不例外。
科幻小说家亚瑟·克拉克（Arthur C. Clarke）在其1968年出版的《2001：太空漫游》 16 中描写了一个类似的情节。人工智能计算机HAL被编程为始终对人类保持诚实，但同时又要对人类宇航员隐瞒他们的太空任务的真实目的。与阿西莫夫的笨拙的机器人不同，HAL饱受这种认知失调的心理痛苦的折磨：“他意识到隐瞒真相与保持忠诚之间的这种冲突正在慢慢地破坏他的心智。” 17 结果是，这种计算机“神经症”使HAL变成了一名杀手。影射到现实生活中的机器道德，数学家诺伯特·维纳早在1960年就指出：“我们最好非常确信，给机器置入的目标正是我们真正想要的目标。” 18
下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=210&limit=10)