--- schema_version: "library-reader-v1" source_type: "original_book" title: "生命3.0：人工智能时代，人类的进化与重生" author: null edition: null publisher: null year: null isbn: null library_document_id: "fe6a2288-ed21-4f87-869d-2d9d80ef9890" source_sha256: "311dbea1c4a092176e1d27ee211fd30c3810574735928e1559a8df3f25e5df8e" pdf_physical_page_count: 413 pdf_physical_page_index_base: 0 range_start: 380 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/fe6a2288-ed21-4f87-869d-2d9d80ef9890?start=380&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/fe6a2288-ed21-4f87-869d-2d9d80ef9890.md?start=380&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/fe6a2288-ed21-4f87-869d-2d9d80ef9890.md?start=370&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/fe6a2288-ed21-4f87-869d-2d9d80ef9890.md?start=390&limit=10" --- # 生命3.0：人工智能时代，人类的进化与重生 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=380 | PRINTED_PAGE=NOT_DETECTED ## PDF_PHYSICAL_PAGE_INDEX=381 | PRINTED_PAGE=NOT_DETECTED ## PDF_PHYSICAL_PAGE_INDEX=382 | PRINTED_PAGE=NOT_DETECTED ## PDF_PHYSICAL_PAGE_INDEX=383 | PRINTED_PAGE=NOT_DETECTED （http://tinyurl.com/automationmckinsey）。 [43] 马林·索里亚奇克（Marin Soljačić）在2016年的一次研讨会上探讨了这些选项：“发狂的计算机：人工智能的发展对社会的影响和意义。”http://futureoflife.org/2016/05/06/computers-gone-wild/. [44] 安德鲁·麦卡菲关于如何创造更多好工作的建议：http://futureoflife.org/data/PDF/andrew\_mcafee.pdf. [50] 将1011个神经元、每个神经元104个连接、每秒每个神经元大约放电1（100）次乘起来，结果表明，大约1015FLOPS（1 petaFLOPS）就足以模拟人类大脑，但是，还有许多复杂的东西是我们理解得不甚透彻的，包括放电的具体时机，以及是否也需要模拟神经元和突触的较小部件。根据IBM计算机科学家哈蒙德拉·莫得哈（Dharmendra Modha）估计，需要38petaFLOPS（http://tinyurl.com/javln43），而神经科学家亨利·马克拉姆（Henry Markram）估计大约需要1 000petaFLOPS（http://tinyurl.com/6rpohqv）。人工智能研究者卡特娅·格蕾丝和保罗·克里斯蒂亚诺则认为，大脑模拟最昂贵的部分并不是计算，而是通信，但即便如此，这也已经是目前最好的超级计算机可以完成的任务了： ## PDF_PHYSICAL_PAGE_INDEX=384 | PRINTED_PAGE=NOT_DETECTED http://aiimpacts.org/about。 [51] 这篇论文包含关于人脑计算能力的有趣估算：Hans Moravec 1998, “When will computer hardware match the human brain”, Journal of Evolution and Technology, vol. 1. 04 智能爆炸？ [1] 第一只机器鸟的视频： https://www.ted.com/talks/a\_robot\_that\_flies\_like\_a\_bird. 05 劫后余波，未知的世界：接下来的1万年 [1] 这句关于人工智能尊敬人类的话引用自这本书：Ray Kurzweil 2005, TheSingularity is Near, Viking Press. [2] 描述本·格策尔的“保姆人工智能”情景的文章： https://wiki.lesswrong.com/wiki/Nanny\_AI. [3] 关于机器与人类的关系，以及机器是不是我们的奴隶的文章：http://tinyurl.com/aislaves. [4] 尼克·波斯特洛姆在他的《超级智能》一书中讨论了“智能犯罪”，并在这篇更近一些的论文中讨论了更多技术细节：Nick Bostrom, Allan Dafoe &Carrick Flynn 2016, “Policy Desider-ata in the Development ofMachine Superintelligence”,http://www.nickbostrom.com/papers/aipolicy.pdf. [5] 东德间谍组织头领的回忆录：http://www.mcclatchydc.com/news/nation-world/national/article24750439.html. [6] 人们为什么会有动机创造出没有人想要的东西？对于这个问题，我推荐一个发人深省的反思：“Meditations on Molloch”http://slatestarcodex.com/2014/07/30/meditations-on-moloch. [7] 一个关于核战争可能因意外而爆发的互动式时间线：http://tinyurl.com/nukeoops. ## PDF_PHYSICAL_PAGE_INDEX=385 | PRINTED_PAGE=NOT_DETECTED [8] 美国铀处理和核试验辐射受害者获得的赔偿金：https://www.justice.gov/civil/awards-date-04242015. 06 挑战宇宙禀赋：接下来的10亿年以及以后 [1] 安德斯·桑德伯格（Anders Sandberg）收集的关于戴森球的资料：http://tinyurl.com/dysonsph. ## PDF_PHYSICAL_PAGE_INDEX=386 | PRINTED_PAGE=NOT_DETECTED [10] 如果你想知道为什么生命的起源可能需要非常偶然和侥幸的事件，使得我们最近的邻居也在101 000米之外，那么，我推荐普林斯顿物理学家兼天文生物学家埃德温·特纳（Edwin Turner）做的视频（扫码中文版序最后一页上的二维码，获取“湛庐阅读”APP，搜索“生命3.0”获取精彩视频）。 07 目标 ## PDF_PHYSICAL_PAGE_INDEX=387 | PRINTED_PAGE=NOT_DETECTED [1] 一篇关于杰里米·英格兰的“耗散驱动适应性效应”理论的科普文章： https://www.scientificamerican.com/article/a-new-physics-theory-oflife/.这本书打下了许多基础：Ilya Prigogine & Isabelle Stengers 1984, Order Out of Chaos: Man's New Dialogue with Nature, Bantam. [2] 关于感觉以及它们的生理基础： a) Principles of Psychology, William James 1890, Henry Holt & Co. b) Evolution of Consciousness: The Origins of the Way We Think, Robert Ornstein 1992, Simon & Schuster. c) Descartes' Error: Emotion, Reason, and the Human Brain, onio Da asio 2005, Penguin. d) Self Comes to Mind: Constructing the Conscious Brain, Antó nio Damá sio 2012, Vintage. [3] 埃利泽·尤德考斯基曾经讨论过，不需要让友好的人工智能的目标与我们目前的目标相一致，但需要让它们符合我们的“连贯推断意志”（CoherentExtrapolated Volition，简称CEV）。简单而言就是说，假设我们的知识更多、思考的速度更快、代表的人数更多，那么，一个理想化的人类想要什么东西。尤德考斯基在2004年发表了关于CEV的文章（http://intelligence.org/files/CEV.pdf），之后不久，就开始批评这种思想。因为它很难实施，也因为不清楚它是否能收敛到任何确定的东西上。 [4] 逆向增强学习方法的一个核心思想是，人工智能试图最大限度满足的不是它自己的目标，而是人类的目标。因此，在不清楚它的主人想要什么时，它有动机保持谨慎，并试图找出这个目标。如果它的主人关掉它也应该没关系，因为这意味着它误会了主人的意思。 [5] 史蒂夫·奥莫亨德罗关于人工智能目标涌现的论文：http://tinyurl.com/omohundro2008. [6] 下面这本发人深省的书，讨论了当智能盲目服从命令而不质疑其伦理偏见的时候，会发生什么事：Hanna Arendt (1963), "Eichmann in Jerusalem: AReport on the Banality of Evil", Penguin.类似的困境也适用于埃里克·德莱克斯勒近期提出的一个想法（http://www.fhi.ox.ac.uk/reports/2015- ## PDF_PHYSICAL_PAGE_INDEX=388 | PRINTED_PAGE=NOT_DETECTED 3.pdf）——将超级智能分割成无法理解全局的简单部分，以此来控制超级智能。如果这种方法可行的话，这或许又为超级智能提供了一个缺乏固有道德规范的强有力工具，它会尽力实现主人任何心血来潮的命令，而不考虑任何道德问题。这会让人想起反乌托邦极权主义情景中的分裂的官僚机构：一个部门负责建造武器，但不知道这些武器是如何使用的；另一个部门负责处决罪犯，却不知道他们犯了什么罪，等等。 [7] 现代版本的黄金定律是约翰·罗尔斯（John Rawls）提出的：在一个假想的情况中，如果人们不会提前知道自己是该情况中的哪个角色时，就没有人想改变原始的情况。 [8] 比如说，希特勒的一些高级官员的IQ值都很高：http://tinyurl.com/nurembergiq. 08 意识 [2] 量子力学的创始人之一埃尔温·薛定谔在他的书《心灵与物质》（MindandMatter）中思考“过去”的时候，做出了上述精彩的评论，以及如果有意识的生命从来没有进化出来过，会发生什么事情。另一方面，人工智能的崛起提出了一个符合逻辑的可能性，那就是，我们在未来可能会演出一场无人观看的戏剧。 [3] 斯坦福哲学百科全书对“意识”的不同定义和使用做出了广泛的调研：http://tinyurl.com/stanfordconsciousness. ## PDF_PHYSICAL_PAGE_INDEX=389 | PRINTED_PAGE=NOT_DETECTED [13] 关于意识感知的同步性： 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/fe6a2288-ed21-4f87-869d-2d9d80ef9890.md?start=390&limit=10)