--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能时代：破解人机共存密码（套装共10册）" author: null edition: null publisher: null year: null isbn: "9787521719512" library_document_id: "396e1bee-219e-4bee-9884-3214c17ff8f5" source_sha256: "e5d429a1fedfac2a13b0bd25057c39d818c33927767948a9bb41411f01413ced" pdf_physical_page_count: 3314 pdf_physical_page_index_base: 0 range_start: 200 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5?start=200&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=200&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=190&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=210&limit=10" --- # 人工智能时代：破解人机共存密码（套装共10册） > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=200 | PRINTED_PAGE=NOT_DETECTED 不幸的是，Oracle AI面临一些很难克服的困难。首先，该系统将至少像我们理解自己的世界一样，孜孜不倦地理解它的物理性质和起源，包括它的计算资源、工作原理，以及制作了它的信息库并正在提问的神秘实体。其次，如果Oracle AI系统的目标是在合理的时间内为问题提供准确的答案，那么它就会有动力冲出牢笼，获取更多的计算资源，并控制提问者，让他们只问简单的问题。最后，我们还没有发明出一种针对普通人的安全防火墙，更不用说针对超级智能机器的安全防火墙了。 我认为其中一些问题可能会有解决方案，特别是如果我们把Oracle AI系统限制为可证明的合理逻辑或贝叶斯计算器。也就是说，我们可以坚持让算法只能输出根据所提供的信息得出的结论，我们可以用数学方法验证算法是否满足这个条件。但这仍然留下了一个控制过程的问题，这个过程决定了要进行哪些逻辑计算或贝叶斯计算，以便尽可能快地得出最有力的结论。因为这个过程有快速推理的动机，所以它有获取计算资源的动机，当然也有保持自身存在的动机。 2018年，伯克利的人类兼容人工智能中心举办了一个研讨会，人们在会上提出了这样一个问题：“如果你确定超级人工智能将在10年内实现，你会怎么做？”我回答说，说服开发人员推迟构建通用智能体，即那些可以在现实世界中选择自己行为的智能体，转而构建Oracle AI。同时，我们要致力于解决使Oracle AI系统可证明安全性的问题。这种策略可能奏效的原因有二：首先，超级智能的Oracle AI系统仍然价值数万亿美元，因此开发人员可能愿意接受这个限制；其次，控制Oracle AI系统肯定比控制通用智能体更容易，所以我们在10年内解决这个问题的机会更大。 ## PDF_PHYSICAL_PAGE_INDEX=201 | PRINTED_PAGE=NOT_DETECTED 难道我们不能……在人机团队中工作？ 在企业界，一种普遍的看法是，人工智能不会对就业或人类构成威胁，因为我们只有人机协作团队。例如，本章前文中引用的戴维·肯尼写给国会的信中说：“高价值人工智能系统是专门为增强人类智能而设计的，而不是为了取代工人。”[23] 尽管愤世嫉俗的人可能会认为这只是一种公关策略，其目的是粉饰从其公司中剔除人类员工的过程，但我认为，这确实让事情有了些许进展。人机协作团队的确是一个理想的目标。显然，如果团队成员的目标不一致，该团队就不会成功，因此强调人机团队突出了解决价值对齐这一核心问题的必要性。当然，强调问题并不等于解决问题。 难道我们不能……与机器融合？ 最极端的情况是，人机协作变成了人机融合，电子硬件直接连接到大脑，成为一个单一的、可扩展的、有意识的实体的一部分。未来学家雷·库兹韦尔（Ray Kurzweil）将这种可能性描述为：[24] 我们将直接与它融合，我们将成为人工智能……当我们进入21世纪30年代末或40年代，我们的思维将主要是非生物的，非生物的部分最终会非常智能，拥有非常巨大的能力，从而能够完全建模、模拟和理解生物部分。 库兹韦尔从积极的角度看待这些发展。相反，埃隆·马斯克认为人机融合主要是一种防御策略：[25] 如果我们实现了紧密的共生，人工智能就不会是“他者”，它将会是你，它将会与你的大脑皮层产生一种类似于你的大脑皮层与边缘系统的关系……我们将面临选择：要么被抛弃，变得毫无用处，要么像家猫之类的宠物一样被圈养起来，要么最终找到某种方式与人工智能共生融合。 ## PDF_PHYSICAL_PAGE_INDEX=202 | PRINTED_PAGE=NOT_DETECTED 马斯克的Neuralink（神经链）公司正在研发一种名为“神经花边”的技术，这个叫法来自伊恩·班克斯（Iain Banks）在其“文明”系列小说中描述的一种技术。目的是在人类大脑皮层和外部计算系统、网络之间建立一个稳定的、永久的连接。“神经花边”目前存在两个主要的技术障碍：第一，难以将电子设备连接到脑组织，为脑组织供电，并将其连接到外部世界；第二，事实上，我们对大脑中实现更高层次认知的神经几乎一无所知，所以我们不知道应该把设备连接到哪里，更不知道应该如何处理。 我并不完全认为前一段中的障碍是无法克服的。第一，“神经尘埃”这样的技术正在迅速降低电子器件的尺寸和功率要求，这些器件可以连接到神经元上，提供传感、刺激和经颅通信。[26] （2018年，这项技术的电子器件尺寸已经缩小到了大约1立方毫米，因此“神经砂砾”可能是一个更准确的术语。）第二，大脑本身具有非凡的适应能力。例如，过去人们认为，我们必须理解大脑用来控制手臂肌肉的“代码”，然后才能成功将大脑与机器手臂连接；我们必须理解耳蜗分析声音的方式，然后才能为其制造替代品。事实证明，大脑为我们做了大部分工作。它很快就学会了如何让机器手臂做主人想做的事情，以及如何将人工耳蜗的输出映射成可理解的声音。我们完全有可能找到为大脑提供额外记忆的方法，找到与计算机沟通的渠道，甚至找到与其他大脑沟通的渠道——这一切都是在我们从未真正理解它的工作原理的情况下实现的。[27] 不管这些想法在技术上是否可行，人们都必须问一问，这个方向是否代表了人类最好的未来。如果人类仅仅为了摆脱自身技术的威胁而需要进行脑外科手术，那么我们或许已经在某个环节犯了错误。 ## PDF_PHYSICAL_PAGE_INDEX=203 | PRINTED_PAGE=NOT_DETECTED 难道我们不能……避免输入人类目标？ 一个常见的推理思路是，有问题的人工智能行为是由我们输入了特定种类的目标而引起的。如果删掉这些目标，一切都会好的。例如，深度学习先驱、脸书公司人工智能研究主管杨立昆在淡化人工智能的风险时，经常引用以下观点：[28] 让人工智能有自我保护的本能、嫉妒等是没有理由的……人工智能不会有这些破坏性的“情绪”，除非我们将这些情绪植入其中。我不明白我们为什么要这么做。 类似的，史蒂芬·平克提供了基于性别的分析：[29] 人工智能反乌托邦主义者将狭隘的“阿尔法男性”[30]的心理投射到智能的概念上。他们认为，具有超人智能的机器人会发展出一些目标，比如抛弃它们的主人，接管世界等。这说明，许多技术预言家不相信人工智能会自然地沿着女性的路线发展，既完全有能力解决问题，但又没有消灭无辜者或统治文明的欲望。 正如我们在讨论工具性目标时看到的那样，无论我们植入“情感”还是“欲望”，例如自我保护、获取资源、发现知识，或是在极端情况下接管世界，这些都无关紧要。无论机器是什么性别，它都会有这些情感，就像我们构建的任意目标的子目标一样。对机器而言，死亡本身并不是什么坏事。尽管如此，死亡还是要避免的，因为“如果你死了，你就很难去取咖啡了”。 更极端的解决方案是避免将目标全部输入机器中。瞧，问题解决了。但是很遗憾，事情没那么简单。没有目标，就没有智能：任何行动都是好的，机器可能变得和随机数生成器一样。没有目标，机器就没有理由喜欢人类的天堂胜过一个堆满回形针的星球（尼克·波斯特洛姆详细描述了这一场景）。事实上，后一种结果对于以铁为食的氧化亚铁硫杆菌来说可能是乌托邦。如果没有“人类偏好很重要”这一概念，谁能说细菌是错的呢？ ## PDF_PHYSICAL_PAGE_INDEX=204 | PRINTED_PAGE=NOT_DETECTED “避免输入目标”思想的一种常见变体是这样一个概念：一个足够智能的系统必然会由于其智能而自行制定“正确”的目标。通常，这一概念的支持者会认同一种理论，即高智商的人往往有更多无私和崇高的目标——这一观点可能与其支持者的自我概念有关。 18世纪著名的哲学家大卫·休谟（David Hume）在《人性论》中详细讨论了在世界中感知目标的可能性。[31]他称其为“实然与应然问题”，并得出结论，认为“道德上必须做的事可以从自然事实中推断出来”的想法完全是错误的。究其原因，我们可以考虑一下棋盘和棋子的设计。人们不能从棋盘和棋子中看出“将军”的目的，因为同样的棋盘和棋子也可以用来下自杀象棋，或者其他许多仍有待发明的游戏。 在《超级智能》一书中，尼克·波斯特洛姆以一种不同的形式提出了同样的基本观点，他称之为“正交性理论”： 智能和最终目标是正交的：原则上，几乎任何水平的智能都能与几乎任何最终目标相结合。 这里，正交的意思是“成直角”，即智能程度是定义智能系统的一个轴，而目标是另一个轴，我们可以独立地改变它们。例如，无人驾驶汽车可以指定任意特定地址作为目的地；让汽车成为更好的司机并不意味着它会拒绝前往那些“可以被17整除的地址”。同样，我们很容易想象到一个通用智能系统可以或多或少地被赋予任意目标，包括最大化回形针的数量或已知圆周率的位数。这就是强化学习系统和其他类型的奖励优化器的工作原理：算法是完全通用的，可以接受任意奖励信号。对于在标准模型下工作的工程师和计算机科学家来说，正交性理论只是一个给定事实。 ## PDF_PHYSICAL_PAGE_INDEX=205 | PRINTED_PAGE=NOT_DETECTED 智能系统可以通过观察世界来获得应该追求的目标，这一想法表明，一个足够智能的系统会自然而然地放弃其最初的目标，转而追求“正确”的目标。理解为什么理性智能体会这样做很难。此外，它预先假定世界上存在一个“正确”的目标，该目标必须是嗜铁细菌、人类，以及所有其他物种都认同的目标，这很难想象。 对波斯特洛姆正交性理论最明确的批评来自著名的机器人学家罗德尼·布鲁克斯（Rodney Brooks），他断言，一个程序不可能“足够聪明，使它能够发明方法来颠覆人类社会，以此实现人类为其设定的目标，却不了解它这么做会给为其设定目标的同一群人带来问题”。[32]不幸的是，一个程序很有可能像这样运行，而且根据布鲁克斯对这个问题的定义，这实际上是不可避免的。布鲁克斯认为，“实现人类设定的目标”的最佳计划正在给人类带来问题。由此可见，这些问题反映了人类在设定目标时忽略了的有价值的东西。机器执行的最佳计划很可能会给人类带来问题，而机器很可能也意识到了这一点。但是根据定义，机器不会认为这些问题会造成问题。这不关它们的事。 史蒂芬·平克似乎同意波斯特洛姆的正交性理论，他写道：“智能是运用创新手段实现目标的能力。目标与智能本身无关。”[33]另外，他发现不可思议的是，“人工智能非常聪明，它能弄明白如何改变元素、改造大脑，但它又非常愚蠢，会因为基本的误解而造成严重破坏”。[34]他继续说：“让机器去选择最能满足相互冲突的目标的动作，这种能力不是工程师可能忘记安装和测试的附加功能，这种能力就是智能。在语境中理解语言使用者意图的能力也是智能。”当然，“满足相互冲突的目标”并不是问题所在，这是从决策理论早期就已被内置到标准模型的东西。问题是，机器意识到的相互冲突的目标并不构成人类关注的全部。此外，在标准模型中，机器必须关心它没有被告知要关心的目标。 ## PDF_PHYSICAL_PAGE_INDEX=206 | PRINTED_PAGE=NOT_DETECTED 然而，从布鲁克斯和平克的话中，我们可以找到一些有用的线索。对我们来说，作为追求其他目标的副作用，机器改变天空的颜色，却忽视了人类对此的明显不快，这确实是愚蠢的。这对我们来说之所以很愚蠢，是因为我们习惯于注意到人类的不快，而且通常我们有动机避免引起不快，即便我们之前没有意识到这些人关心天空的颜色。也就是说，我们人类一来关心其他人的偏好，二来知道我们不知道所有人的偏好是什么。在下一章中，我将讨论这些特性，当它们被构建到机器中时，这些特性可能会为解决迈达斯国王问题提供一个契机。 辩论重新开始 这一章让我们得以一窥广大知识界正在进行的一场辩论，一场在指出人工智能生存性风险的人和对这些风险持怀疑态度的人之间进行的辩论。在书籍、博客、学术论文、小组讨论、访谈、推文和报纸文章中都可以见到它的踪迹。尽管“怀疑论者”——那些认为人工智能的风险可以忽略不计的人，做出了种种勇敢的努力，但他们未能解释为什么超级人工智能系统必然会一直处于人类的控制之下，他们甚至没有试图解释为什么超级人工智能系统永远不会被开发出来。 如果被追问，许多“怀疑论者”会承认这里确实存在问题，即便问题并不是迫切需要解决的。下面是斯科特·亚历山大在他的SlateStar Codex博客上精辟的总结。[35] “怀疑论者”的立场是：尽管我们可能应该让一些聪明人开始着手研究问题初步显露的一些方面，但我们不应该对人工智能研究感到恐慌，或将其禁止。 与此同时，“信徒们”坚持认为：尽管我们不应该对人工智能研究感到恐慌，或将其禁止，但我们可能应该让一些聪明人开始着手研究问题初步显露的一些方面。 ## PDF_PHYSICAL_PAGE_INDEX=207 | PRINTED_PAGE=NOT_DETECTED 如果“怀疑论者”能提出一个无可辩驳的反对意见，也许是以一种简单且万无一失的（同时又绝不邪恶的）解决方案的形式来解决人工智能的控制问题，我会感到很高兴，但我认为这很可能不会发生，就像我们找不到简单且万无一失的网络安全解决方案，也找不到简单且万无一失的方式来制造零风险的核能一样。正如亚历山大所说，与其继续进行部落间的谩骂，反复挖掘不可信的论据，不如着手研究问题初步显露的一些方面。 这场辩论凸显了我们面临的难题：如果我们构建机器来优化目标，那么我们输入机器的目标必须符合我们想要的目标，但我们不知道如何完全正确地定义人类目标。幸运的是，我们有折中的办法。 [1] 对波斯特洛姆的《超级智能》进行了严肃评论的一篇文章：“Clever cogs,”Economist, August 9, 2014。 [2] 关于人工智能风险的神话和误解的讨论：Scott Alexander, “AI researchers on AI risk,” Slate Star Codex (blog), May 22, 2015。 [3] 关于智能的多重维度的经典著作：Howard Gardner, Frames of Mind: The Theory of Multiple Intelligences (Basic Books, 1983)。 [4] 关于智能的多重维度对超人类人工智能可能性的影响：Kevin Kelly, “Themythof a superhuman AI,” Wired, April 25, 2017。 [5] 黑 猩 猩 比 人 类 有 更 优 秀 的 短 期 记 忆 的 证 据 ： Sana Inoue and TetsuroMatsuzawa“,Working memory of numerals in chimpanzees,” Current Biology 17(2007),R1004–5。 [6] 对基于规则的人工智能系统的前景提出质疑的一项重要的早期工作：HubertDreyfus, What Computers Can’t Do (MIT Press, 1972)。 [7] 寻求意识的物理解释并对人工智能系统实现真正智能的能力提出质疑的一系列书籍中 的 第 一 本 ： Roger Penrose, The Emperor’s New Mind: Concerning Computers,Minds, and the Laws of Physics (Oxford University Press, 1989)。 [8] 基于不完备定理的人工智能批判的复兴：Luciano Floridi, “Should we beafraid of AI?” Aeon, May 9, 2016。 ## PDF_PHYSICAL_PAGE_INDEX=208 | PRINTED_PAGE=NOT_DETECTED ## PDF_PHYSICAL_PAGE_INDEX=209 | PRINTED_PAGE=NOT_DETECTED [30] 阿尔法男性是指位于社会顶层的男性，他们通常可以利用自己的生理优势和强大的控制欲获得更多的资源。——译者注 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=210&limit=10)