生命3.0：人工智能时代，人类的进化与重生

在旧金山开办了一家非营利性公司OpenAI。人工智能安全性研究就此成型。

随着这一波研究的兴起，一大批个人意见和集体意见不断涌现。人工智能行业的合作伙伴关系发布了它的创始原则；美国政府、斯坦福大学和电气与电子工程师协会（简称IEEE，世界上最大的技术专家组织）都发表了长篇报告和建议；除此之外还有几十份报告和意见书^[6]。

我们希望促进阿西洛马会议与会者之间有意义的讨论，并希望了解这个多元化的社区到底有哪些共识。因此，卢卡斯·佩里承担了一项很重要的任务——阅读我们找到的所有文件，并提取出其中所有的观点。阿奎尔发起了一项马拉松式项目，在这个项目中，未来生命研究所团队召开了一系列长时间的电话会议，尝试将相似的意见集中在一起，删除冗长的官僚辞令，最后整理出一个简洁的原则列表，其中包括一些没有正式发表但拥有一定的影响力，并在某些非正式场合发表过的意见。不过，这个列表中有很多模糊和矛盾的地方，需要进一步解释。所以，在会议的一个月前，我们向参会者分享了这份列表，收集了他们的观点和修改意见，以及一些更新颖的原则。来自社群的投入极大改进了这份原则列表，最终成形，供会议使用。

图9-3 一桌伟大的思想家正在阿西洛马思考有关人工智能的原则

这个集体努力的过程既费时又费力。在会议中，阿奎尔、梅亚和我都缩短了睡眠和午餐时间，争取尽早准备好下一步骤所需的所有内容。但这也令人兴奋。经过如此详细、棘手、时而争吵的讨论和如此广泛的反馈，我们惊喜地看到在最后的调研中，围绕许多原则涌现出了高度的共识，有些原则甚至获得了97%以上的支持率。这促使我们为最终列表设定了一个很高的标准：我们只保留至少90%参会者同意的原则。这意味着一些时髦的原则在最后时刻被摒弃了，包括我个人最喜欢的一些原则^[7]。然而，这能让大多数参与者感到满意，愿意签名以表示支持。以下是结果。

阿西洛马人工智能原则

人工智能已经向全世界的人们提供了日常使用的有益工具。如果以下列原则为指导继续发展下去，我们将有惊人的机会帮助未来数十年甚至数百年后的人类，并赋予他们力量。

研究问题

1．研究目标：人工智能研究的目标应该是创造有益的智能，而不是没有方向的智能。

2．研究经费：在对人工智能的投资中，应该留出一部分资金来研究如何确保它的应用对人类有益，包括计算机科学、经济学、法律、伦理和社会研究中的棘手问题，例如：

a）如何让未来的人工智能系统具备高度的稳健性，好让它们按我们的要求运行，而不会出现故障或被黑客攻入？

b）如何通过自动化来实现繁荣发展，同时保留人类的资源和目

标？

c）如何升级法律系统，使其更加公正有效，以跟上人工智能的发展，并管理人工智能带来的风险？

d）人工智能应该符合怎样的价值体系，以及它应该拥有怎样的法律和伦理地位？

3．科学与政策的联系：在人工智能研究者和政策制定者之间应该存在具有建设性的健康的信息交流。

4．研究文化：应该在人工智能研究者与开发者之中建立一种合作、信任和透明的文化。

5．避免竞争：开发人工智能系统的团队应该积极合作，避免在安全标准上偷工减料。

伦理与价值

6．安全：人工智能系统在它的整个运营寿命中应该是安全可靠的，并且，其安全性在其适用和可行之处必须是可验证的。

7．故障透明度：如果人工智能系统造成了危害，必须有方法查明原因。

8．公平透明度：自动化系统参与的任何法律决策都应该提供令人满意的解释，并且，这些解释能通过具有一定资质的权威人士的审计。

9．责任：先进人工智能系统的设计者和建造者是其使用、误用和行为的道德后果的利益相关者，肩负着承担这些后果的责任，也拥有承担这些后果的机会。

10．价值定位：高度自主的人工智能系统的设计应该保证它们的目标和行为在其运营寿命中与人类价值观相一致。

11．人类价值：人工智能系统的设计和运营应该符合人类尊严、权利、自由和文化多样性的理想。

12．个人隐私：在给予人工智能分析和使用人类数据的权利时，人类也应该有权利访问、管理和控制自己产生的这些数据。

13．自由与隐私：人工智能对个人数据方面的应用不应该不合理地剥夺人们的自由，包括真实的自由和感觉到的自由。

14．共享利益：人工智能技术应该惠及和赋予尽可能多的人口。

15．共同富裕：人工智能创造的经济效益应该被广泛分享，惠及所有人。

16．人类控制：人类应该决定要不要赋予人工智能决策权以及如何赋予它们决策权，以完成人类的目标。

17．非颠覆：由于控制了高度先进的人工智能系统而获得的权力应该尊重和改进健康社会所依赖的社会与公民程序，而不应该起到颠覆的反作用。

18．人工智能军备竞赛：应该避免开发致命自动化武器的军备竞赛。

长期问题

19．能力警惕：由于还未达成共识，我们应该避免在未来人工智能的能力上限方面做出强假设。

20．重要性：先进的人工智能可能为地球生命的历史带来深远的改变，应该用相应的谨慎和资源进行计划和管理。

21．风险：人工智能系统带来了一些风险，尤其可能带来灾难性的后果以及危及人类存在的风险，我们应该投入与这些风险的预期影响

相称的努力，以缓解后果。

22．迭代式自我改进：设计出来迭代式自我改进或自我复制的人工智能系统，如果可能导致质量或数量的快速增长，那应该对其安全性和可控性进行严格的评估。

23．公共利益：超级智能只应该被开发以服务于广泛认同的伦理理念和全人类的利益，而不是服务于单个国家或组织的利益。

我们把这份原则发布在网上后，签名人数急剧增加。到现在，已经涵盖了超过1 000名人工智能研究者和许多顶级思想家。如果你也想加入，成为签名者，你可以访问这个网址：http://futureoflife.org/AI-principles。

令我们震惊的，不仅是这些原则获得了很多共识，还因为它们本身的力度就很强。诚然，其中一些原则乍一看就像“和平、爱和母性是有价值的”这种话，看起来似乎毫无争议，但却暗藏机关，只要设想一些与之违背的陈述，就很容易看出来。例如，“超级智能是不可能的”违反了第19条，“减少人工智能存在风险的研究完全是浪费”违反了第21条。你可以观看我们关于长期影响的小组讨论视频^[8]，在那里你可以看到，埃隆·马斯克、斯图尔特·罗素、雷·库兹韦尔、丹米斯·哈萨比斯、山姆·哈里斯、尼克·波斯特洛姆、戴维·查尔默斯、巴尔特·塞尔曼、扬·塔里安这些人都同意超级智能有可能被开发出来。因此，人工智能的安全性研究非常重要。

警觉的乐观

正如我在开头所说，对生命的未来，我从来没有像现在这般乐观。请允许我向你分享我的个人故事，来解释一下为什么。

过去几年的经历因为两个不同的原因提升了我的乐观程度。首先，我亲眼目睹了人工智能界以非凡的方式聚集在一起，并与其他领域的思想家合作，积极应对未来的挑战。埃隆·马斯克在阿西洛马会议后告诉我，他惊讶地发现人工智能的安全性问题在短短几年内，从一个边缘问题进入了主流视野，我自己也感到同样惊喜。现在，不仅第3章中讨论的短期问题成了严肃的话题，甚至连阿西洛马人工智能原则中谈到的超级智能和存在风险也逐渐被越来越多的人讨论。这些原则如果放到两年前的波多黎各会议上，肯定无法通过——那时的那封公开信中最吓人的词也不过是“陷阱”而已。

我喜欢观察人。在阿西洛马会议的最后一天早上，我站在礼堂旁边，看着与会者聆听关于人工智能和法律的讨论。有一股温暖而模糊的感觉掠过我全身，让我非常感动。这与波多黎各会议如此不同！在波多黎各，我记得人工智能界大多数人对人工智能的态度是尊重和恐惧共存并不是与我们针锋相对，但我和我那些关心人工智能的同事都觉得，这些人尚等待着我们去说服。而现在，我能明显感觉到他们和我们站在同一边了。正如你从本书中看到的那样，我依然不知道如何用人工智能创造美好的未来，所以，能成为这个不断成长的社区的一部分，与他们共同寻找答案，我感觉棒极了。

我变得更加乐观的第二个原因是，未来生命研究所的经历赋予了我力量。在伦敦催我泪下的是一种面对必然无能为力的感觉：一个令人不安的未来可能即将来临，而我们却无力回天。但接下来的三年时间里，我那忧郁的宿命感逐渐被消解了。如果一个名不见经传的志愿者团队都愿意免费为这个当今最重要的对话做出积极的贡献，那么请想象一下，如果全人类合力，我们将完成多么伟大的壮举！

埃里克·布莱恩约弗森在阿西洛马发表了演讲。在其中，他提到了两种乐观主义。第一种是无条件的乐观，比如，我们乐观地相信太阳明早一定还会出来。第二种是警觉的乐观，也就是说，相信只要计划周全、坚持不懈，就一定会有好的结果。我对未来的感觉，正是这第二种乐观。

那么，随着我们踏进人工智能的时代，你能为生命的未来做出什么积极的贡献呢？我认为，如果你还没准备好，那么第一大步就是努力成为一个警觉的乐观主义者。接下来我将解释一下原因。要成为一个成功的警觉乐观主义者，重要的是要对未来形成一个积极的愿景。每当麻省理工学院的学生来我的办公室咨询就业建议时，我通常会先问他们认为自己10年后会在哪里。如果一个学生回答“我可能会躺在癌症病房里，或者被汽车撞死了，埋在公墓里”，那我会对他毫不客气。只看到悲观的未来对职业规划来说是很糟糕的！诚然，把自己100%的精力都花在避免疾病和意外上，对抑郁症和妄想症患者来说是一个良方，但对幸福却不是。相反，我想听到学生激情四射地描述自己的目标，然后，我们就可以开始讨论要到达那里可能有哪些策略，同时如何避免陷阱。

布莱恩约弗森指出，根据博弈论，积极的愿景构成了世界上所有合作的大部分基础，从婚姻到企业并购，再到美国各州组成一个国家的决定。毕竟，如果不能得到更大的回报，为什么要牺牲一些自己拥有的东西？这意味着，我们不仅要为我们自己，还要为社会和全人类想象一个积极的未来。换句话说，我们需要更多的“存在希望”！虽然梅亚总是提醒我，从《弗兰肯斯坦》到《终结者》，人们在文学和电影作品中对未来的想象大都不甚理想。换句话说，全社会对未来的计划都很糟糕，就像我假想出来的那个麻省理工学院的学生一样。这就是为什么我们需要更多警觉的乐观主义者。这也是为什么我在这本书里一直鼓励你去思考，你想要什么样的未来，而不是你害怕什么样的未来。这样，我们才能找到共同的目标，然后一起努力去实现它。

在这本书里，我们看到了人工智能可能会带来巨大的机会和艰巨的挑战。有一个策略可能对所有人工智能挑战都有用，那就是让我们一起行动，在人工智能完全起飞之前对人类社会进行改善。如果我们教育年轻人，在技术获得巨大的力量之前保证技术是稳健而有益的，那一切就会变得更好。如果我们及时修改法律，让其跟上技术的发展，以免过时，那一切也会变得更好。如果我们能在国际争端升级为自动化武器军备竞赛之前就解决它们，那一切也会变得更好。如果我们能在人工智能加剧不平等现象之前就创造出一个人人富裕的社会，一切也会变得更好。如果在我们的社会中，人工智能安全性研究的成果得以实施，而不是被人忽视，那一切也会变得更好。再看得远一点，看看与超人类通用人工智能有关的挑战。如果我们在教给强大的智能机器基本伦理标准之前，在某些标准上达成了共识，那一切就会变得更好。在一个极端和混乱的世界里，有权有势的人有更大的动机和能力用人工智能来胡作非为，同时，比起彼此合作，争先恐后的通用人工智能开发团队们更有动力在安全性上偷工减料。总而言之，如果我们能创建一个齐心协力追求共同目标的和谐社会，那么，人工智能的变革极有可能会带来皆大欢喜的结果。

换句话说，想要改善生命的未来，最好的方法就是从明天开始做起。你有许多方式可以实现这一点。当然了，你可以用选票告诉代表你的政客，你对教育、隐私、自动化武器、技术性失业等问题的看法。但你每天也在通过其他事情进行投票，比如你买的东西、你阅读的新闻、你分享的信息和你扮演的角色。你是想成为一个打断人们谈话并检查他们手机的人，还是想要计划周全、小心谨慎地使用科技并从中获得力量？你想要拥有你的科技产品，还是被你的科技产品所拥有？你希望在人工智能时代身为一个人类的意义是什么？请和你周围的人讨论这些问题——这个话题不仅很重要，而且引人入胜。

我们就是未来生命的守护者，因为人工智能时代正在由我们塑造。虽然我在伦敦流下了眼泪，但我现在觉得，未来没有什么是必然发生、不可避免的。并且，我知道，要做出改变，比我想象的容易得多。我们的未来并没有镌刻在石头上，只等着发生——它要由我们来创造。让我们一起创造一个振奋人心的未来吧！

01 欢迎参与我们这个时代最重要的对话

[1] 让人工智能更强健和有益的公开信：http://futureoflife.org/ai-openletter/.

[2] 媒体对机器人危言耸听的报道案例：http://tinyurl.com/hawkingbots.

02 物质孕育智能

[1] 关于通用人工智能（AGI）这个词的来源的注解：http://wp.goertzel.org/who-coined-the-term-agi.

[2] 选自汉斯·莫拉维克于1998年发表的文章《当计算机硬件与人类大脑相媲美时》（When will computer hardware match the human brain）,Journal of Evolution and Technology, vol. 1.

[3] 在显示每年的计算成本的图片中，2011年以前的数据来自雷·库兹韦尔的书《人工智能的未来》（How to Create a Mind），之后的数据是根据以下参考文献计算出来的：https://en.wikipedia.org/wiki/FLOPS.

[4] 量子计算先驱戴维·多伊奇在下面这本书中描述了他为什么把量子计算视为平行宇宙的证据：David Deutsch 1997, The fabric of reality, Allen Lane。如果你想了解我对量子平行宇宙的看法（我将其视为四层多重宇宙中的第三层），你可以读一下我的前一本书：《穿越平行宇宙》。

03 不远的未来：科技大突破、变故、法律、武器和就业

[1] DeepMind公司的深度强化学习人工智能教自己玩计算机游戏《打砖块》的视频：https://tinyurl.com/atariai.

[2] DeepMind公司的人工智能如何玩雅达利游戏的相关论文：

注释