生命3.0：人工智能时代，人类的进化与重生

Firth·Butterfield）、菲利普·萨贝斯（Philip Sabes）、保罗·梅洛拉（PaulMerolla）、巴尔特·塞尔曼、图克·戴维（Tucker Davey）、雅各布·斯坦哈特、摩西·卢克斯（Moshe Looks）、乔西·特南鲍姆、汤姆·格鲁伯（Tom Gruber）、吴恩达、卡里姆·阿尤布（Kareem Ayoub）、克雷格·卡尔霍恩（CraigCalhoun）、珀西·梁（Percy Liang）、海伦·特纳（Helen Toner）、大卫·查尔默斯、理查德·萨顿、克劳迪娅·帕索斯·费里拉（ClaudiaPassos·Ferriera）、雅诺什·克拉玛（János Krámar）、威廉·麦卡斯基尔（William MacAskill）、埃利泽·尤德考斯基、布赖恩·齐巴特（BrianZiebart）、休·普莱斯、卡尔·舒尔曼（Carl Shulman）、尼尔·劳伦斯（NeilLawrence）、理查德·马拉（Richard Mallah）、尤尔根·施米德胡贝（JürgenSchmidhuber）、迪利普·乔治、乔纳森·罗思伯格（Jonathan Rothberg）、诺亚·罗思伯格（Noah Rothberg）；前排依次是：安东尼·阿奎尔、索尼娅·萨克斯（Sonia Sachs）、卢卡斯·佩里（Lucas Perry）、乔弗里·萨克斯（JeffreySachs）、文森特·科尼泽（Vincent Conitzer）、史蒂夫·古斯（SteveGoose）、维多利亚·克拉科芙娜、欧文·科顿·巴勒特（OwenCotton·Barratt）、丹妮拉·鲁斯（Daniela Rus）、迪伦·哈德菲尔德·梅内尔（Dylan Hadfield·Menell）、维里蒂·哈丁（Verity Harding）、希冯·齐利斯（Shivon Zilis）、劳伦特·奥索（Laurent Orseau）、拉玛纳·库马尔（RamanaKumar）、纳特·索尔斯、安德鲁·麦卡菲、杰克·克拉克、安娜·萨拉蒙（AnnaSalamon）、欧阳隆（Long Ouyang）、安德鲁·克里奇（Andrew Critch）、保罗·克里斯蒂亚诺（Paul Christiano）、约舒亚·本吉奥、戴维·桑福德（DavidSanford）、凯瑟琳·奥尔森（Catherine Olsson）、杰西卡·泰勒（JessicaTaylor）、玛蒂娜·孔茨（Martina Kunz）、克里斯汀·索里森（KristinnThorisson）、斯图尔特·阿姆斯特朗、扬·勒丘恩（Yann LeCun）、亚历山大·塔马斯（Alexander Tamas）、罗曼·亚姆波尔斯基（Roman Yampolskiy）、马林·索里亚彻克（Marin Soljačić）、劳伦斯·克劳斯（Lawrence Krauss）、斯图尔特·罗素、埃里克·布莱恩约弗森、瑞安·卡洛、薛晓岚（ShaoLan Hsueh）、梅亚·奇塔·泰格马克、肯特·沃克、希瑟·罗夫、梅雷迪思·惠特克（MeredithWhittaker）、迈克斯·泰格马克、阿德里安·韦勒、乔斯·埃尔南德斯·奥拉罗（Jose Hernandez·Orallo）、安德鲁·梅纳德（Andrew Maynard）、约翰·赫林（John Hering）、艾布拉姆·德姆斯基（Abram Demski）、尼古拉斯·伯格鲁恩（Nicolas Berggruen）、格雷戈里·邦尼特（Gregory Bonnet）、山姆·哈里斯、蒂姆·黄（Tim Hwang）、安德鲁·斯奈德·贝蒂（Andrew Snyder·Beattie）、玛尔塔·哈利娜（Marta Halina）、塞巴斯蒂安·法夸尔（Sebastian Farquhar）、斯蒂芬·凯夫（Stephen Cave）、简·莱克（Jan Leike）、塔莎·麦考利（TashaMcCauley）、约瑟夫·戈登·莱维特（Joseph Gordon·Levitt）；后来抵达的人有：古鲁达斯·巴纳瓦尔（Guruduth Banavar）、丹米斯·哈萨比斯、拉奥·卡姆巴哈帕蒂（Rao Kambhampati）、埃隆·马斯克、拉里·佩奇、安东尼·罗梅罗（Anthony Romero）。

第二天晚上，我和朋友扬·塔里安在Skype上通了一次话——这个软件的创造中有他的一份力量。我向他解释了未来生命研究所的愿景。一小时之后，塔里安决定每年给我们捐赠10万美元的经费。没有什么比获得超过我应得的信任更让我感动的了。一年之后，在我第1章中提到过的波多黎各会议上，他开玩笑说，这是他做过的最好的一笔投资。这对我来说简直意味着整个世界。

第二天，我的出版商给我留出了一点自由时间，于是我拜访了位于伦敦南肯辛顿区的英国科学博物馆。在长时间沉迷于智能的过去与未来之后，突然觉得我正行走在自己思维的物质体现中。这家博物馆组织了一场代表人类知识增长的精彩展览，从史蒂文森的“火箭号”机车到福特T型车、真实大小的“阿波罗11号”月球车复制品，还有各式各样的计算机，最早从巴贝奇设计的差分机一直到现代的计算机硬件。这家博物馆还有一个展览，是关于智能的历史的，从意大利物理学家路易吉·加尔瓦尼（Luigi Galvani）的青蛙腿实验到神经元、脑电图和功能性磁共振成像。

我这个人平常很少哭，但在走出博物馆时，我哭了，就在熙熙攘攘的隧道里。人们步履匆匆，前往南肯辛顿地铁站。这些人过着幸福的生活，完全不知道我脑中在想什么。此时回旋在我脑海中的是，首先，人类发现了如何用机器来复制一些自然过程，由此创造出了人造的风、闪电和机械马力。慢慢地，人类开始意识到自己的身体也是机器。接着就发现了神经细胞，这个发现模糊了身体与心智的界限。然后，人类开始建造比我们的肌肉更加强壮、比我们的大脑更加聪明的机器。那么，在发现自我的同时，我们是否也不可避免地淘汰了自己？如果是的话，那简直太悲剧了。

这个想法让我感到害怕，但也增强了我践行新年决定的决心。我觉得，未来生命研究所创始团队还需要一个能带领一群理想主义的年轻志愿者的人物才算完整。最合乎逻辑的选择就是哈佛大学杰出学生维多利亚·克拉科芙娜（Viktoriya Krakovna）。她不仅赢得了国际奥数竞赛银奖，而且还创办了Citadel。Citadel是一所房子，供十几个想要在人生和世界中扮演更大角色的理想主义年轻人使用。梅亚和我邀请她5天后到我家吃饭（如图9-2所示），并告诉她我们的愿景。那一天，我们桌上的寿司还没吃完，未来生命研究所就诞生了。

波多黎各的冒险

波多黎各会议标志着一段精彩冒险的开始。正如我在第1章中提到的那样，我们经常在我家举行头脑风暴般的会议，与数十名理想主义的学生、教授和其他本地思想家一起，把评价最高的想法转化为实际的项目。第一个项目就是第1章中提到的与史蒂芬·霍金、斯图尔特·罗素、弗兰克·韦尔切克共同撰写的专题文章，旨在引发公众讨论。在建设未来生命研究所这个新组织（比如整合和招募顾问委员会以及发布网站）的同时，我们在麻省理工学院的礼堂前举行了一个有趣的发布会。在那里，艾伦·艾尔达（Alan Alda）等顶级专家探讨了技术的未来。

我们把那一年剩下的时间都用来组织波多黎各会议上。正如我在第1章中提到的那样，这个会议的目的是让世界顶级人工智能研究者参与到“如何保证人工智能对人类有益”的讨论中来。我们的目标是把人们对人工智能安全性的担忧转化为实际行动：从争论我们应不应该担心，到同意开展一些具体的研究项目，以获得尽可能好的结果。为了做好充分准备，我们收集了来自世界各地的关于人工智能安全性研究的点子，并邀请学术界对我们不断扩大的项目名单提出反馈和意见。在斯图尔特·罗素和一群勤劳的年轻志愿者，特别是丹尼尔·杜威、亚诺思·克拉马尔和理查德·马拉的帮助下，我们从这些研究项目中提炼出了一个文件，供大会讨论^[1]。我们希望让人们意识到值得做的人工智能安全性研究有很多，并鼓励人们实际开展这些研究。我们的最终目标是，说服某些人来资助这些项目，因为到目前为止，政府在这方面几乎没有任何投入。

这时，埃隆·马斯克闪亮登场了。2014年8月2日，他进入了我们的搜寻雷达，因为他发布了一条著名的推特：“尼克·波斯特洛姆的《超级智能》值得一读。我们需要对人工智能保持谨慎。它们可能比核武器还要危险。”于是，我联系上了他，并向他介绍了我们的愿景。几个星期后，我和他通了一次电话。虽然当时我就像见到大明星一样感到非常紧张，但成果是毋庸置疑的：他同意加入未来生命研究所的科学顾问委员会，出席我们的会议，并可能资助即将在波多黎各会议上宣布的第一个人工智能安全性研究项目。这给我们的未来生命研究所团队打了一剂强心针，让我们更有动力加倍努力地组织一场精彩的会议，确定有前景的研究课题，并为其收集来自学术界的支持。

两个月后，马斯克来到麻省理工学院参加空间研讨会时，我终于有机会与他见面，商讨进一步的规划。当时，他就像摇滚明星一样，被1000多名麻省理工学院的学生簇拥着；而片刻之后，我和他单独待在一间绿色的小房间里，这感觉十分奇特。但是几分钟后，我满脑子就只剩下我们的合作项目。我很快对他产生了好感。他浑身散发着真诚的态度，十分关心人类的长期未来，并大胆地将自己的愿望变为行动，这让我深受启发。马斯克希望人类能够探索宇宙，并在其中安居乐业，所以他创办了太空探索技术公司（SpaceX）；他想要可持续发展的能源，所以创办了一家太阳能公司和一家电动汽车公司。马斯克身材高大、英俊潇洒、知识渊博，很容易理解为什么人们愿意倾听他的见解。

不幸的是，这次麻省理工学院的活动也让我意识到媒体是可以多么的危言耸听、哗众取宠和四分五裂。马斯克在台上讲了一个小时关于太空探索的迷人话题，我认为这完全可以编辑成一档精彩的电视节目。最后，一个学生问了他一个关于人工智能的问题——这个问题其实与当天的话题无关。马斯克在回答中讲了“开发人工智能可能会召唤出恶魔”这么一句话，结果这成为当天大多数媒体报道的唯一事情。他们断章取义，揪着这句话不放。令我感到震惊的是，许多记者的报道与我们想在波多黎各完成的宗旨背道而驰，我们想通过强调共同点来构建社区共识，而媒体却想强调个中分歧。他们报道的争议越多，他们的尼尔森收视率和广告收入就越高。而且，我们希望让各界人士聚在一起，增进理解，而媒体报道却有意无意地引用了许多断章取义的话，加剧了人们对持异议者的不满，造成了误解。出于这个原因，我们禁止记者参加波多黎各会议，并实施“查塔姆大厦规则”（Chatham HouseRule），也就是禁止与会者向外界透露会上谁说了什么⁽⁷⁷⁾。

虽然我们的波多黎各会议最终取得了成功，但成功来之不易。在最后一段时间里，我们做了大量辛勤的准备工作。比如，我必须打电话或用Skype联系大量的人工智能研究者，好组成一个重量级的参会团队，才能吸引来更多参与者。还有一些戏剧性的时刻，比如，2014年12月27日上午7点，我接到埃隆·马斯克从乌拉圭打来的电话。这个电话的通话质量十分糟糕。他说：“我认为这行不通。”他担心人工智能安全性研究计划可能会给人们带来错误的安全感，让那些不计后果的研究者误以为只需动动嘴皮子、聊聊人工智能的安全性就万事大吉了。虽然通话质量不断变糟，但我们还是充分讨论了将该话题纳入主流视野、促使更多人工智能研究者从事人工智能安全性工作的好处。通话结束后，马斯克给我发来了一封电子邮件，堪称我这辈子最爱的邮件之一：“刚才没信号了。无论如何，文档看起来不错。我很愿意在3年内为这个研究资助500万美元。或许，1 000万美元？”

4天后，2015年为我和梅亚开了一个好头——我们在会议前来了一次短暂的放松，在波多黎各的海滩上跳舞，看烟花照亮天空。会议也取得了一个良好的开端：人们普遍认为，需要开展更多的人工智能安全性研究。基于与会者的进一步讨论，我们之前精炼的研究重点文件得到了完善和落实。我们传阅了第1章中提到的人工智能安全性研究公开信，很高兴几乎每个人都签了字。

我和梅亚在酒店的房间里与埃隆·马斯克进行了一次神奇的会谈。他称赞了我们对资助项目的详细计划。梅亚感动于马斯克朴实坦率的个人生活以及他对我们的极大兴趣。他问我们是如何认识的，他很喜欢梅亚讲述的详细故事。第二天，我们为他拍摄了一个关于人工智能安全性问题以及他为什么支持人工智能安全性研究的采访视频^[2]。一切似乎都走上了正轨。

会议的高潮是马斯克发布捐款声明，计划于2015年1月4日晚上7点举行。那是一个星期天。我感到非常紧张，以至于前一天晚上几乎睡不着觉。然而，在我们出发前往会议的15分钟之前遇到了麻烦！马斯克的助理打电话来说，他可能无法参加这个活动。梅亚说，她从没见过我如此紧张和失望。好在，就在活动开始的几秒前，马斯克终于赶来了。他解释说，两天后SpaceX要进行一次重要的火箭发射，他们希望让第一级火箭着陆在一艘遥控船上。如果成功，这将是人类有史以来的第一次。由于这将是一个重大的里程碑，SpaceX团队不希望有其他事情来分散马斯克的媒体关注度。安东尼·阿奎尔一如既往的冷静和清醒，他指出，这意味着没有人想要媒体关注我们的会议，马斯克不想要，我们也不想要。活动推迟了几分钟开始，但我们制订了一个新计划：我们不打算提到捐赠的数额，这样媒体就会认为我们宣布的消息不值得关注，而且我会监督“查塔姆大厦规则”的执行，确保所有人都保守秘密，让大家在长达9天的时间里不泄露关于马斯克捐款声明的任何消息。之所以是9天，是因为9天后，他的火箭将到达太空站（无论着陆是否成功）；他说，如果火箭发射时发生了爆炸，他可能还需要比9天更多的时间。

倒计时终于归零，活动开始。我主持的超级智能小组成员仍然坐在我旁边的椅子上，他们是：埃利泽·尤德考斯基、埃隆·马斯克、尼克·波斯特洛姆、理查德·马拉、默里·沙纳汉、巴尔特·塞尔曼、谢恩·列格和弗诺·文奇。人们的掌声逐渐平息，但小组成员仍然坐在那里，因为是我让他们留下的，他们不知道我葫芦里卖的什么药。梅亚后来告诉我，当时她的脉搏跳到了最快。她在桌子下面紧紧抓着维多利亚·克拉科芙娜平静的手。我笑了。我知道，这是我们努力已久、期盼已久、等待已久的时刻。在会议上我说道：

很高兴大家在“保证人工智能有益于人类，我们需要进行更多研究”上达成了共识，并且，我们也讨论出了许多马上就可以着手开展的具体研究方向。不过，既然我们已经在会议上谈到了严重的风险问题，那么，在大家出发到外面的酒吧和露天晚宴之前，最好先振奋一下精神，保持乐观的情绪。现在，我们把话筒交给埃隆·马斯克！

当马斯克拿着麦克风宣布他将捐出大量资金用于人工智能安全性研究时，我感到历史正在改变。不出所料，他博得满堂喝彩。按照计划，他并没有提到金额的多少，但我知道是说好的1 000万美元。实在太炫酷了！

会议结束之后，梅亚和我去瑞典和罗马尼亚分别拜访了我们的父母。在斯德哥尔摩，我们和我的父亲一起屏着呼吸观看了火箭发射直播。不幸的是，火箭着陆失败，终结于被马斯克委婉称为“RUD”的状态，这是“意外快速解体”（rapid unscheduled disassembly）的简写。又过了15个月，马斯克带领的团队终于成功实现了海上着陆。^[3]他们的所有卫星都成功进入了轨道，我们的资助计划也一样。马斯克在社交平台上向他的几百万粉丝宣布了这一消息。

让人工智能安全性研究进入主流

波多黎各会议的一个重要目标是让人工智能的安全性研究进入主流。看到这个目标逐步实现，我十分振奋。第一步是会议本身。一旦研究者意识到他们的社群正在增长，就会开始喜欢讨论这个话题。很多参会者的鼓励让我深受感动。例如，康奈尔大学人工智能教授巴尔特·塞尔曼给我发电子邮件说：“我从未见过比你们组织得更好、更激动人心、更启发人智慧的科学会议。”

第二个主要步骤开始于2015年1月11日，当时马斯克在推特上发布“世界顶级人工智能开发者签署了致力于人工智能安全性研究的公开信”，并链接到一个注册页面。该页面很快就收集了8 000多个签名，其中包括许多享誉全球的人工智能开发者。突然之间，那些爱说“担心人工智能的安全的人不知道自己在说什么”的人很难开口了，因为这意味着他们在说，世界上最牛的人工智能研究者也不知道自己在说什么，这显然不切实际。世界各地的媒体都报道了这封公开信，但他们报道的方式让我们觉得，禁止记者参加会议是一个明智的决定。虽然信中最危言耸听的词语不过是“陷阱”，但却引发了诸如“埃隆·马斯克和斯蒂芬·霍金签署公开信，以预防机器人起义”这样的头条新闻，并配上了终结者的照片。在我们看过的数百篇文章中，我们最喜欢的一篇文章嘲讽地写道：“这个标题令人联想到机器人脚踩人类头骨的场景，将复杂和变革的技术变成了一场狂欢派对。^[4]”幸运的是，也存在许多清醒的新闻文章，但它们给我们带来了另一个挑战，那就是如何对不断涌来的新签名进行手动验证，以保护我们的信誉，并除掉恶作剧签名，比如“HAL 9000”“终结者”“莎拉·珍妮特·康纳“和“天网”。为此，也为了今后的公开信，维多利亚·克拉科芙娜和亚诺思·克拉马尔组织了一个轮班制的志愿团队来检查签名。这个团队包括杰西·加莱夫、埃里克·佳斯特弗莱德和雷瓦蒂·库马尔，当身在印度的库马尔准备睡觉时，她就会把接力棒传递给身在波士顿的佳斯特弗莱德，然后再继续传递下去。

第三个主要步骤开始于4天后，当时马斯克在推特上发布了我们宣布他捐赠1 000万美元用于人工智能安全性研究的链接。一周之后，我们推出了一个在线通道，世界各地的研究者可以通过这个通道申请并竞争这笔资金。我们能如此迅速地推出申请系统，要多亏阿圭尔和我在过去的10年中一直运营类似的物理奖学金竞赛。位于加州的开放慈善项目（Open Philanthropy Project）通常聚焦于高影响力的捐赠，他们在马斯克的捐赠基础上又慷慨地加了一些，让我们能为研究者提供更多资金。我们不确定会有多少申请者，因为这个话题很新，截止日也没剩几天了。结果让我们震惊了——全世界大约有300个团队申请，总资金需求量大约1亿美元。一个由人工智能教授等研究人员组成的小组仔细审查了这些提案，并选出了37个获奖团队，资助他们3年的资金。当我们宣布获奖名单时，媒体对我们的报道产生了微妙的变化，再也没有终结者的照片。有志者，事竟成。人工智能安全性研究终于不再是空谈，而是有许多实际有用的工作要做。并且，许多优秀的研究团队纷纷卷起袖子加入进来。

第四个主要步骤是一个有机的过程，发生在接下来的两年里。全球范围内出现了大量技术出版物，还有几十个关于人工智能安全的研讨

会，通常是作为主流人工智能会议的一部分。为了让人工智能社区参与到安全性研究中来，许多人已经坚持了许多年，但成功的次数寥寥无几。然而现在，事情真正起飞了。这些出版物中有许多是由我们的项目资助的。在未来生命研究所，我们尽自己最大的努力来帮助组织和资助尽可能多的研讨会，但我们看到，由人工智能研究者投入自己的时间和资源组织的会议占了越来越大的部分。因此，有越来越多的研究者从同行那里了解了人工智能安全性研究，并发现这些研究不仅有用，还可能很好玩，涉及有趣的数学和计算问题，够他们思考好一会儿了。

当然，并不是每个人都觉得复杂的方程很好玩。在波多黎各会议的两年之后，阿西洛马会议之前，我们还举办了一个技术研讨会。在会上，未来生命研究所资金的获奖者展示了他们的研究，大屏幕上的幻灯片里写满了数学符号。莱斯大学的人工智能教授摩西·瓦尔迪开玩笑说，他知道，一旦开会变成一件无聊的事，我们就成功地将人工智能安全性研究搞成了一个正式的研究领域。

人工智能安全性工作的迅速发展并不局限于学术界。亚马逊、DeepMind、Facebook、谷歌、IBM和微软发起了一个“人工智能有益运动”的行业伙伴关系^[5]。我们最大的非营利性姊妹机构包括加州大学伯克利分校的机器智能研究所、牛津大学的人类未来研究所和剑桥大学的存在风险研究中心（Centre for the Study of ExistentialRisk）。由于在人工智能安全性研究方面获得了大额的新捐赠，这些机构得以扩展它们的研究。此外，还有一些别的“人工智能有益运动”项目也因获得了1 000万美元（或者更多）捐助而启动了，包括剑桥大学莱弗休姆智能未来中心（Leverhulme Centre for the Future ofIntelligence）、位于匹兹堡的高盖茨伦理与计算技术基金会（K&LGates Endowment for Ethics and ComputationalTechnologies）以及位于迈阿密的人工智能伦理与管理基金会（Ethics and Governance of Artificial Intelligence Fund）。最后，还有一件同样重要的事——埃隆·马斯克等企业家耗资10亿美元