---
schema_version: "library-reader-v1"
source_type: "original_book"
title: "人工智能时代：破解人机共存密码（套装共10册）"
author: null
edition: null
publisher: null
year: null
isbn: "9787521719512"
library_document_id: "396e1bee-219e-4bee-9884-3214c17ff8f5"
source_sha256: "e5d429a1fedfac2a13b0bd25057c39d818c33927767948a9bb41411f01413ced"
pdf_physical_page_count: 3314
pdf_physical_page_index_base: 0
range_start: 170
range_count: 10
html_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5?start=170&limit=10"
markdown_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=170&limit=10"
previous_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=160&limit=10"
next_url: "https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=180&limit=10"
---
# 人工智能时代：破解人机共存密码（套装共10册）
> 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。
## PDF_PHYSICAL_PAGE_INDEX=170 | PRINTED_PAGE=NOT_DETECTED
相比之下，塞缪尔·巴特勒（Samuel Butler）于1872年出版的小说《埃里汪奇游记》对这一主题进行了更深入的探讨，该小说大获成功。在埃里汪这个国家，拥护机械主义者和反对机械主义者之间爆发了一场可怕的内战，此后所有的机械设备都被禁止使用。书中有一部分叫作“机器之书”，这部分解释了这场战争的起源，并列出了双方的观点。[3]对于在21世纪初重新出现的辩论，这段文字有一种可怕的先见之明。
反对机械主义者的主要论点是，机器将发展到人类无法控制的地步：
不正是我们自己在培养取代我们的地球统治者吗？不是我们让它们一天天变得更美丽精密，赋予它们更强大的技能，提高它们优于任何聪明人的自我约束、独立行动的能力吗？……随着时间的推移，我们会发现自己是劣等种族……
但我们必须选择继续经受目前的痛苦，或是看着自己逐渐被创造物超越，直到我们不再优于它们，就像我们已不再比旷野中的野兽高级一样……束缚会用无法察觉的方法，悄无声息地来到我们身边。
叙述者还谈到了拥护机械主义者的主要反驳观点，这预示了我们将在下一章探讨的人机共生的论点：
要严肃地回应这个结论，就只有一种方法。机器是人生理机能的一部分，实际上它们不过是存在于体外的肢体。
虽然埃里汪的反对机械主义者在辩论中获胜，但巴特勒本人似乎在二者之间犹豫不决。一方面，他抱怨说：“埃里汪人能迅速把常识供奉进逻辑的神殿。他们之中的哲学家会利用自己有特殊学问的名声让埃里汪人昏头昏脑，埃里汪人在机器的问题上忍气吞声。”另一方面，他所描述的埃里汪社会非常和谐，富有成效，甚至如同田园诗一般美好。埃里汪人完全接受重新走上机械发明之路的愚蠢之举，并把那些保存在博物馆里的机械残骸视为“英国古文物家对德鲁伊教纪念碑或燧石箭头的感情”。
## PDF_PHYSICAL_PAGE_INDEX=171 | PRINTED_PAGE=NOT_DETECTED
巴特勒的故事显然为艾伦·图灵所知，1951年，后者在曼彻斯特的一次演讲中思考了人工智能的长远未来：[4]
一旦机器开启思维方式，它们似乎有可能不久就会超越我们微弱的力量。机器不会有死亡的问题，它们会互相交流以增进它们的智能，于是在某个阶段，我们应该预期，机器会按照塞缪尔·巴特勒在《埃里汪奇游记》中所描述的那样掌控世界。
同年，图灵在英国广播公司的一次广播中重复表达了这些担忧。
如果一台机器可以思考，它可能会比我们更智能地思考，那么我们应该身居何处？即使我们可以让机器处于从属地位，例如在关键时刻关闭电源，那么我们作为一个物种，也应该感到非常卑微……这种新的危险无疑会让我们感到焦虑。
当埃里汪的反对机械主义者“对未来感到非常不安”时，他们把“趁我们还能做到的时候制止邪恶”视为自己的职责，并销毁了所有机器。图灵对“新危险”和“焦虑”的反应是考虑“关闭电源”（尽管我们很快就会明白这不是一个真正可行的选择）。在弗兰克·赫伯特（Frank Herbert）的经典科幻小说《沙丘》中，故事以遥远的未来为背景，人类在与“会思考的机器”的灾难性战争“巴特勒圣战”中几乎无一幸存。战后，一条新的戒律出现了：“汝等不得创造像人一样思考的机器。”这条戒律禁止了一切类型的计算设备。
## PDF_PHYSICAL_PAGE_INDEX=172 | PRINTED_PAGE=NOT_DETECTED
所有这些激烈的反应都表明了机器智能在早期引起的恐惧。诚然，超级智能机器的前景确实让人感到不安。从逻辑上讲，这些机器有可能接管世界，征服或消灭人类。如果这就是我们必须要做的一切，那么我们目前唯一可行的对策就是限制人工智能研究，具体来说，就是禁止开发和部署人类级别的通用人工智能系统。
和大多数人工智能研究人员一样，我强烈反对这么做。谁能告诉我，什么是我能想的，什么是我不能想的？一切打算终止人工智能研究的人都必须做很多说服工作。结束人工智能研究意味着我们不仅放弃了一个理解人类智能如何工作的主要途径，而且还放弃了改善人类状况的千载难逢的机会——创造一个更好的文明。人类水平的人工智能的经济价值可以用数千万亿美元来衡量，因此公司和政府有巨大动力进行人工智能研究。正如巴特勒所说，这将压倒哲学家隐晦不清的反对意见，无论哲学家有多么伟大的“特殊学问的名声”。
禁止通用人工智能的第二个不利条件是，它很难被禁止。随着数学问题的提出和解决，通用人工智能的进展主要出现在世界各地的研究实验室中。我们事先不知道应该禁止哪些想法和方程式，而且即使我们真的禁止了，也无法期望这样的禁令是可执行的或有效的。
让难度进一步加大的是，在通用人工智能方面取得进展的研究人员往往是其他领域的人员。正如我已经说过的那样，对工具人工智能的研究——那些具体的、无害的应用，如游戏、医疗诊断和旅行计划等，通常会引发通用技术的进步，这些技术适用于广泛的问题，并使我们更接近人类水平的人工智能。
由于这些原因，人工智能界以及负责制定法律的政府和负责研究预算的公司，都不太可能通过终止人工智能的进展来应对大猩猩问题。如果大猩猩问题只能通过这种方式来解决，那就根本解决不了。
唯一可能奏效的方法是，人们理解为什么让人工智能变得更好可能是一件坏事。事实证明，我们几千年前就知道答案了。
## PDF_PHYSICAL_PAGE_INDEX=173 | PRINTED_PAGE=NOT_DETECTED
迈达斯国王问题
我们在第1章看到的诺伯特·维纳对许多领域都产生了深远的影响，包括人工智能、认知科学和控制理论。维纳与同时代的大多数人不同，他特别关注在现实世界中运行的复杂系统的不可预测性。（10岁时，他写了关于这个主题的第一篇论文。）他开始相信，科学家和工程师对他们控制自己的发明的能力过于自信，无论是军事的还是民用的发明，都可能产生灾难性的后果。
1950年，维纳出版了《人有人的用处》[5]，书的封面上写道：“‘机械大脑’和类似的机器可以摧毁人类的价值观，或者让我们以前所未有的方式实现这些价值观。”[6]随着时间的推移，他逐渐完善了自己的观点，到1960年，他发现了一个核心问题：正确且完整地定义真正的人类目的是不可能的。这反过来又意味着我所说的标准模型——人类试图将自己的目的灌输给机器，注定要失败。
我们可以把这个问题称为“迈达斯国王问题”。迈达斯是古希腊神话中的传奇国王，他如愿以偿地得到了他想要的点石成金术——他碰过的任何东西都会变成金子。当他发现这其中包括了他的食物、水和他的家人时，已经太晚了，他最终在痛苦和饥饿中死去。同样的主题在人类神话中无处不在。维纳引用了歌德的“魔法师的弟子”的故事，魔法师的弟子学魔法师念咒语，指示扫帚去打水，但他没有说打多少水，也不知道如何让扫帚停下来。
一种技术上的说法是，我们可能会遭受价值对齐的失败：我们可能会向机器灌输与我们的目标不完全对齐的目标，这或许是在不经意间完成的。直到最近，由于智能机器有限的能力以及它们只能在有限范围内对世界产生影响，我们才免受潜在的灾难性后果的影响。（实际上，大多数人工智能工作都是在实验室中处理一些没有实际意义的问题时完成的。）正如诺伯特·维纳在他1964年出版的《神与魔》一书中所说：[7]
## PDF_PHYSICAL_PAGE_INDEX=174 | PRINTED_PAGE=NOT_DETECTED
过去，对人类目的的片面和不充分的看法相对无害，只是因为当时受到技术上的限制……这只是人类无力保护我们免受人类愚蠢行为的破坏性影响的众多例子之一。
不幸的是，这段保护期很快就要结束了。
我们已经看到社交媒体上的内容选择算法，是如何以广告收入最大化的名义对社会造成巨大破坏的。如果你在想，广告收入最大化已经是一个不光彩的目标，永远不应该成为我们追求的目标，那么让我们假设，要求未来的超级智能系统去追求“找到癌症治疗方法”这一崇高目标，越快找到越好，因为每3.5秒就会有一人死于癌症。在几个小时内，人工智能系统就已经阅读了所有生物医学文献，并假设了数百万种可能有效但此前未经测试的化合物。在几周内，人工智能系统在每个活人体内诱发了多种不同种类的肿瘤，以便对这些化合物进行医学试验，这便是找到癌症治疗方法的最快方法。天啊！
如果你更喜欢解决环境问题，那么你可以要求机器对抗二氧化碳含量升高导致的海洋快速酸化。这台机器开发了一种新的催化剂，可以促进海洋和大气之间极其快速的化学反应，并恢复海洋的pH值水平。不幸的是，大气中1/4的氧气在这个过程中被消耗殆尽，我们只能痛苦地慢慢窒息而死。天啊！
这类世界末日的场景并不难想到，正如人们可能预料的世界末日的场景那样。但是，在许多情况下，一种精神窒息“用无法察觉的方法，悄无声息地来到我们身边”。迈克斯·泰格马克在《生命3.0》一书的序言部分详细描述了一种场景：一台超级智能机器逐渐取得了对整个世界经济上和政治上的控制，但这一行为基本上没被人发现。互联网和它所支持的全球范围的机器——那些每天与数十亿名用户互动的机器，为机器控制人类的发展提供了完美的媒介。
我预测，输入这种机器的“目的”并不是用各种各样的方式接管世界，而更有可能是利润最大化或参与度最大化，抑或是一个其他看似良性的目标，比如在定期的用户幸福度调查中获得更高的分数，或者减少我们的能源使用。现在，如果我们认为自己是“通过行动有望实现我们的目标的实体”，那么有两种方法可以改变我们的行为。第一种是老派的方法：保持我们的期望和目标不变，但要改变我们的环境，例如，通过给我们钱财，用枪指着我们，或者让我们忍饥挨饿而屈服。对计算机而言，这往往既昂贵又困难。第二种方法是改变我们的期望和目标，这对机器来说要容易得多。机器每天与你保持数小时的联系，控制你对信息的访问，并通过游戏、电视、电影和社交互动为你提供大量的娱乐。
## PDF_PHYSICAL_PAGE_INDEX=175 | PRINTED_PAGE=NOT_DETECTED
优化社交媒体点击率的强化学习算法没有推理人类行为的能力，事实上，它们甚至不知道人类的存在。对于那些对人类的心理、信念和动机有着更深刻理解的机器，逐步引导我们朝着提高机器目标的满意度的方向前进应该相对容易。例如，它可能通过说服我们少生孩子来减少我们的能源消耗，并且在不经意间最终实现了反自然主义哲学家的梦想——消除人类对自然世界的有害影响。
通过一些实践，你可以学会识别一些方法，在这些方法中，你或多或少实现了某个固定目标却导致了糟糕的结果。最常见的模式之一是从你真正关心的目标中忽略一些东西。这种情况就像上面给出的例子一样，人工智能系统通常会找到一个最佳的解决方案，把你确实关心但忘记提及的事情设置为一个极值。所以，如果你对你的无人驾驶汽车说“尽快把我送到机场”，从字面上解释，它会开到每小时180英里，然后你就会进监狱。（幸运的是，目前计划制造的无人驾驶汽车不会接受这样的请求。）如果你说“在不超过限速的情况下，尽快把我送到机场”，那么它会尽可能多地加速和刹车，在车流中左右穿梭以保持最高速度，它甚至可能会把其他车辆挤走，以便在机场候机楼的拥堵中争取几秒钟的时间。最终，你会添加足够多的注意事项，使汽车的行驶速度大致相当于一个熟练的人类司机载着乘客匆匆赶往机场的速度。
## PDF_PHYSICAL_PAGE_INDEX=176 | PRINTED_PAGE=NOT_DETECTED
驾驶是一项仅有局部影响的简单任务，目前为驾驶而构建的人工智能系统并不十分智能。由于这些原因，许多潜在的故障模式都是可以预见的，其他故障模式会在驾驶模拟器或数百万英里的测试中暴露出来，如果出现问题，专业驾驶员随时准备接手。还有一些故障模式只会在更晚时候才会被发现，即当汽车已经上路时，一些奇怪的事情才会出现。
不幸的是，能够产生全球影响的超级智能系统并没有模拟器，也没有重来的机会。仅靠人类去预测和排除机器为实现特定目标而选择的所有灾难性方法当然是非常困难的，甚至是不可能的。一般而言，如果你有一个目标，而超级智能机器有一个不同的、与你冲突的目标，那么此时机器会实现它的目标，你却无法实现自己的目标。
恐惧与贪婪：工具性目标
一台机器追求一个错误的目标听起来已经够糟糕的了，但还有更糟糕的。艾伦·图灵提出的解决方案——在紧急时刻关掉电源，可能行不通。原因很简单：如果你死了，你就不能去取咖啡了。
让我解释一下。假设一台机器的目标是取咖啡。如果它足够聪明，那么它肯定会明白，如果它在完成任务之前就被关掉电源，它就无法实现目标。因此，取咖啡的目标创建了一个必要的子目标，即禁用关机按钮。治疗癌症或计算圆周率也是如此。一旦你死了，你就什么也做不成了，所以我们可以预料，一旦被赋予了明确的目标，人工智能系统就会先发制人地保护自己的存在。
如果这个目标与人类的偏好相冲突，那么我们就会看到《2001：太空漫游》中的情节：哈尔9000计算机为了防止宇航员干扰它的任务，杀死了飞船上5名宇航员中的4名。最后一名宇航员戴夫在一场史诗般的智斗后，设法关掉了哈尔，想必这个情节是为了保持趣味性。如果哈尔真的是超级智能，戴夫早就完蛋了。
## PDF_PHYSICAL_PAGE_INDEX=177 | PRINTED_PAGE=NOT_DETECTED
重要的是要明白，自我保护不一定是机器的内置本能或首要指令。（所以艾萨克·阿西莫夫的“机器人三定律”中的第三条“机器人要尽可能保护自己的生存”是完全没有必要的。[8]）建立自我保护毫无必要，因为这是一个工具性目标，即一个几乎对任何原始目标而言都有用的子目标。[9]任何有明确目标的实体都会自动像拥有工具性目标一样行动。
在我们当前的系统中，除了活着之外，获得金钱也是一个工具性目标。因此，智能机器可能想要钱，不是因为它贪财，而是因为钱对实现各种目标有用。在电影《超验骇客》中，当约翰尼·德普饰演的教授的大脑被上载到量子超级计算机中时，这台机器做的第一件事就是将自己复制到互联网上的数百万台其他计算机上，这样它就无法被关闭了。它做的第二件事是在股市上迅速大赚一笔，为其扩张计划提供资金。
那么，这些扩张计划到底是什么呢？计划包括设计和建造一台更大的量子超级计算机，进行人工智能研究，以及发现物理学、神经科学和生物学的新知识。这些资源目标——计算能力、算法和知识，也是工具性目标，它们对于实现任何总体目标都是有用的。[10]它们似乎是无害的，直到人们意识到其获取过程将无限制地继续下去。这造成了它们与人类不可避免的冲突。当然，配备了更好的人类决策模型的机器将会预见并挫败我们在这场冲突中的每一步行动。
智能爆炸
I. J.古德（I. J. Good）是一位杰出的数学家，曾与艾伦·图灵一起在布莱奇利公园[11]工作，他在“二战”期间破译了德国的密码。他和图灵一样对机器智能和统计推理感兴趣。1965年，他发表了著名的论文《关于第一台超级智能机器的一些推测》。[12]从文章第一句话中可以看出，冷战时的核边缘政策让古德大为惊恐，他认为人工智能可能是人类的救世主：“人类的生存取决于超级智能机器的早期构建。”然而，在文章的后半部分，他变得更加谨慎。他引入了智能爆炸的概念，但是，和他之前的巴特勒、图灵和维纳一样，他也担心智能会失去控制：
## PDF_PHYSICAL_PAGE_INDEX=178 | PRINTED_PAGE=NOT_DETECTED
超级智能机器可以被定义为智能远远超过了人类智力活动的机器。既然机器设计是智力活动之一，那么超级智能机器就可以设计出更为智能的机器。这无疑会带来一场“智能爆炸”，人类的智能将被远远抛在后面，望尘莫及。因此，第一台超级智能机器将是人类最后的发明，前提是这台机器足够驯顺，可以告诉我们如何控制它。奇怪的是，这一点在科幻小说之外很少被提及。
这一段是有关超级人工智能的所有讨论的主要内容，尽管结尾的警告通常会被忽视。古德的观点可以通过以下几点得到强化：超级智能机器不仅能够改进其自身的设计，而且它很可能会这样做，因为正如我们所看到的，智能机器期望从改进其硬件和软件中获益。智能爆炸的可能性经常被认为是人工智能给人类带来危险的主要来源，因为它给我们解决控制问题的时间太少了。[13]
古德的论点将智能爆炸与化学爆炸类比，这当然具有合理性，在化学爆炸中，分子反应释放足够的能量来引发更多的附加反应。然而，从逻辑上讲，提高智能所获得的回报可能会递减，于是这个过程就会逐渐消失，而不是激增。[14]没有明显的方法可以证明爆炸必然会发生。
收益递减的情况本身就很有趣。如果事实证明，随着机器变得更加智能，实现给定百分比的改进变得更加困难，此时就会出现这种情况。（为了便于讨论，我假设通用机器智能可以用某种线性尺度来衡量，但我认为这种尺度未必绝对正确。）在这种情况下，人类也无法创造出超级智能。如果一台已经超越人类的机器在试图提高自身智能时失去了动力，那么人类将会更快失去动力。
## PDF_PHYSICAL_PAGE_INDEX=179 | PRINTED_PAGE=NOT_DETECTED
有人认为，创造任意一种特定水平的机器智能都是人类智慧所无法做到的，对此，我从没听到过支持此观点的严肃的论据，但我想人们必须承认这在逻辑上是可能的。“逻辑上可能”和“我愿意拿人类的未来打赌”当然是完全不同的两码事。与人类的创造力打赌似乎是一种失败的策略。
如果智能爆炸真的发生了，又如果我们尚未能解决仅仅稍微超越人类的智能机器的控制问题，比如我们无法阻止它们进行这些递归式的自我完善，那么我们就没有时间解决控制问题，人类也就完了。这就是尼克·波斯特洛姆设想的“硬起飞”场景，在这个场景中，机器的智能在短短几天或几周内以天文数字的速度增长。用图灵的话说，这“肯定会让我们担忧”。
人们对这种担忧的反应可能有：放弃人工智能研究；否认开发高级人工智能存在固有风险；通过设计必须保持在人类控制之下的人工智能系统来理解和减轻风险；或是认输，并把未来让给智能机器。
否认和减轻风险是本书其余部分的主题。正如我已经说过的，放弃人工智能研究既不太可能发生（因为放弃的代价太大），又很难实现。认输是最糟糕的回应，与之相伴的往往是这样一种想法：比我们更聪明的人工智能系统值得继承这个星球，让人类温和地走进那个良夜，想到我们聪颖的机器人子孙正忙着追求自己的目标，这让人感到宽慰。这一观点是由机器人学家和未来学家汉斯·莫拉维克（HansMoravec）提出的，[15]他写道：“浩瀚的网络空间将充斥着非人类的超级智慧，它们将处理与人类相关的事务，就像我们处理与细菌的关系一样。”这似乎是错误的。对人类而言，价值主要是由有意识的人类经验来定义的。人类或其他有意识的实体的主观经验对我们很重要，如果没有它们，就不会有任何有价值的事情发生。
下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/396e1bee-219e-4bee-9884-3214c17ff8f5.md?start=180&limit=10)