生命3.0：人工智能时代，人类的进化与重生

（http://tinyurl.com/automationmckinsey）。

[43] 马林·索里亚奇克（Marin Soljačić）在2016年的一次研讨会上探讨了这些选项：“发狂的计算机：人工智能的发展对社会的影响和意义。”http://futureoflife.org/2016/05/06/computers-gone-wild/.

[44] 安德鲁·麦卡菲关于如何创造更多好工作的建议：http://futureoflife.org/data/PDF/andrew\_mcafee.pdf.

[50] 将10¹¹个神经元、每个神经元10⁴个连接、每秒每个神经元大约放电1（10⁰）次乘起来，结果表明，大约10¹⁵FLOPS（1 petaFLOPS）就足以模拟人类大脑，但是，还有许多复杂的东西是我们理解得不甚透彻的，包括放电的具体时机，以及是否也需要模拟神经元和突触的较小部件。根据IBM计算机科学家哈蒙德拉·莫得哈（Dharmendra Modha）估计，需要38petaFLOPS（http://tinyurl.com/javln43），而神经科学家亨利·马克拉姆（Henry Markram）估计大约需要1 000petaFLOPS（http://tinyurl.com/6rpohqv）。人工智能研究者卡特娅·格蕾丝和保罗·克里斯蒂亚诺则认为，大脑模拟最昂贵的部分并不是计算，而是通信，但即便如此，这也已经是目前最好的超级计算机可以完成的任务了：

http://aiimpacts.org/about。

[51] 这篇论文包含关于人脑计算能力的有趣估算：Hans Moravec 1998, “When will computer hardware match the human brain”, Journal of Evolution and Technology, vol. 1.

04 智能爆炸？

[1] 第一只机器鸟的视频：

https://www.ted.com/talks/a\_robot\_that\_flies\_like\_a\_bird.

05 劫后余波，未知的世界：接下来的1万年

[1] 这句关于人工智能尊敬人类的话引用自这本书：Ray Kurzweil 2005, TheSingularity is Near, Viking Press.

[2] 描述本·格策尔的“保姆人工智能”情景的文章： https://wiki.lesswrong.com/wiki/Nanny\_AI.

[3] 关于机器与人类的关系，以及机器是不是我们的奴隶的文章：http://tinyurl.com/aislaves.

[4] 尼克·波斯特洛姆在他的《超级智能》一书中讨论了“智能犯罪”，并在这篇更近一些的论文中讨论了更多技术细节：Nick Bostrom, Allan Dafoe &Carrick Flynn 2016, “Policy Desider-ata in the Development ofMachine Superintelligence”,http://www.nickbostrom.com/papers/aipolicy.pdf.

[5] 东德间谍组织头领的回忆录：http://www.mcclatchydc.com/news/nation-world/national/article24750439.html.

[6] 人们为什么会有动机创造出没有人想要的东西？对于这个问题，我推荐一个发人深省的反思：“Meditations on Molloch”http://slatestarcodex.com/2014/07/30/meditations-on-moloch.

[7] 一个关于核战争可能因意外而爆发的互动式时间线：http://tinyurl.com/nukeoops.

[8] 美国铀处理和核试验辐射受害者获得的赔偿金：https://www.justice.gov/civil/awards-date-04242015.

06 挑战宇宙禀赋：接下来的10亿年以及以后

[1] 安德斯·桑德伯格（Anders Sandberg）收集的关于戴森球的资料：http://tinyurl.com/dysonsph.

[10] 如果你想知道为什么生命的起源可能需要非常偶然和侥幸的事件，使得我们最近的邻居也在101 000米之外，那么，我推荐普林斯顿物理学家兼天文生物学家埃德温·特纳（Edwin Turner）做的视频（扫码中文版序最后一页上的二维码，获取“湛庐阅读”APP，搜索“生命3.0”获取精彩视频）。

07 目标

[1] 一篇关于杰里米·英格兰的“耗散驱动适应性效应”理论的科普文章： https://www.scientificamerican.com/article/a-new-physics-theory-oflife/.这本书打下了许多基础：Ilya Prigogine & Isabelle Stengers 1984, Order Out of Chaos: Man's New Dialogue with Nature, Bantam.

[2] 关于感觉以及它们的生理基础：

a) Principles of Psychology, William James 1890, Henry Holt & Co.

b) Evolution of Consciousness: The Origins of the Way We Think, Robert Ornstein 1992, Simon & Schuster.

c) Descartes' Error: Emotion, Reason, and the Human Brain, onio Da asio 2005, Penguin.

d) Self Comes to Mind: Constructing the Conscious Brain, Antó nio Damá sio 2012, Vintage.

[3] 埃利泽·尤德考斯基曾经讨论过，不需要让友好的人工智能的目标与我们目前的目标相一致，但需要让它们符合我们的“连贯推断意志”（CoherentExtrapolated Volition，简称CEV）。简单而言就是说，假设我们的知识更多、思考的速度更快、代表的人数更多，那么，一个理想化的人类想要什么东西。尤德考斯基在2004年发表了关于CEV的文章（http://intelligence.org/files/CEV.pdf），之后不久，就开始批评这种思想。因为它很难实施，也因为不清楚它是否能收敛到任何确定的东西上。

[4] 逆向增强学习方法的一个核心思想是，人工智能试图最大限度满足的不是它自己的目标，而是人类的目标。因此，在不清楚它的主人想要什么时，它有动机保持谨慎，并试图找出这个目标。如果它的主人关掉它也应该没关系，因为这意味着它误会了主人的意思。

[5] 史蒂夫·奥莫亨德罗关于人工智能目标涌现的论文：http://tinyurl.com/omohundro2008.

[6] 下面这本发人深省的书，讨论了当智能盲目服从命令而不质疑其伦理偏见的时候，会发生什么事：Hanna Arendt (1963), "Eichmann in Jerusalem: AReport on the Banality of Evil", Penguin.类似的困境也适用于埃里克·德莱克斯勒近期提出的一个想法（http://www.fhi.ox.ac.uk/reports/2015-

3.pdf）——将超级智能分割成无法理解全局的简单部分，以此来控制超级智能。如果这种方法可行的话，这或许又为超级智能提供了一个缺乏固有道德规范的强有力工具，它会尽力实现主人任何心血来潮的命令，而不考虑任何道德问题。这会让人想起反乌托邦极权主义情景中的分裂的官僚机构：一个部门负责建造武器，但不知道这些武器是如何使用的；另一个部门负责处决罪犯，却不知道他们犯了什么罪，等等。

[7] 现代版本的黄金定律是约翰·罗尔斯（John Rawls）提出的：在一个假想的情况中，如果人们不会提前知道自己是该情况中的哪个角色时，就没有人想改变原始的情况。

[8] 比如说，希特勒的一些高级官员的IQ值都很高：http://tinyurl.com/nurembergiq.

08 意识

[2] 量子力学的创始人之一埃尔温·薛定谔在他的书《心灵与物质》（MindandMatter）中思考“过去”的时候，做出了上述精彩的评论，以及如果有意识的生命从来没有进化出来过，会发生什么事情。另一方面，人工智能的崛起提出了一个符合逻辑的可能性，那就是，我们在未来可能会演出一场无人观看的戏剧。

[3] 斯坦福哲学百科全书对“意识”的不同定义和使用做出了广泛的调研：http://tinyurl.com/stanfordconsciousness.

[13] 关于意识感知的同步性：