生命3.0：人工智能时代，人类的进化与重生

在那个炎热夏日的泳池边，尽管佩奇似乎有些寡不敌众，但实际上，他极力维护的“数字乌托邦主义”拥有许多支持者。1988年，机器人学家兼未来学家汉斯·莫拉维克（Hans Moravec）写了一本经典著作《智力后裔》（Mind Children），这本书启发了整整一代数字乌托邦主义者。因此，这一观点得以延续下来，后来又被未来学家雷·库兹韦尔（Ray Kurzweil）所提炼。理查德·萨顿（Richard Sutton）是人工智能领域强化学习的先驱，在我们于波多黎各岛举行的会议上，他激情四射地捍卫了数字乌托邦主义。我之后会简略地给你讲讲这个会议的情况。

技术怀疑主义者：没有必要杞人忧天

有些思想家一点也不担心人工智能将会带来的影响，不过，不担心的原因却与数字乌托邦主义者截然不同。这些思想家认为，建造超人类水平的通用人工智能实在太困难了，没有几百年的时间，根本无法实现，因此没必要杞人忧天。我把这种观点称为“技术怀疑主义”。拥有“中国谷歌”之称的百度的前首席科学家吴恩达对这种观点进行了很好的阐释：“担心杀手机器人的崛起，就好像担心火星出现人口过剩一样。”最近在波士顿的一场会议上，吴恩达再次向我重申了自己的这个观点。他还告诉我，他担心对人工智能风险的担忧可能会引导人们对人工智能充满恶意，从而制约人工智能的发展。还有一些技术怀疑主义者也发表过类似的言论，比如Roomba扫地机器人和Baxter工业机器人制作背后的原麻省理工学院教授罗德尼·布鲁克斯（RodneyBrooks）。我发现一个很有趣的事实：尽管数字乌托邦主义者和技术怀疑主义者都认为我们无须担心人工智能，但在其他事情上，两者的共同点却少之又少。大部分乌托邦主义者认为，与人类智能水平相当的通用人工智能可能会在20～100年内实现，而技术怀疑主义者认为，这是一种乌托邦式的幻想，他们经常会嘲笑一些人预测的“奇点”⁽⁸⁾，并将其戏谑为“书呆子的臆想”。2014年12月的一个生日宴会上，我遇到了布鲁克斯，他对我说，他百分之百地肯定，奇点不会发生在我的有生之年。“你确定你的意思不是99%？”在后来的一封邮件中，我如此问道。他回复我说：“不是没用的99%。就是100%。奇点根本不会发生。

人工智能有益运动支持者：人工智能的研究必须以安全为前提

2014年6月，我在巴黎的一家咖啡馆第一次遇到了人工智能先驱斯图尔特·罗素（Stuart Russell），他是典型的英国绅士，彬彬有礼。而且，他能言善辩，思维缜密，语调温和，眼中闪烁着富于冒险的光芒。在我眼中，他仿佛就是斐利亚·福克（Phileas Fogg）的现代版本。福克是儒勒·凡尔纳于1873年的小说《八十天环游地球》中的人物，是我童年时代心目中的英雄。虽然罗素是迄今在世的最著名的人工智能研究者之一，也是人工智能领域的标准教科书的作者之一，但他的谦逊和热情很快让我放松下来。他向我解释说，人工智能领域的进展让他相信，与人类智能水平相当的通用人工智能真的有可能在本世纪内变成现实。尽管他充满希望，但他明白，并不是百分之百会产生好的结果。我们必须先回答一些重要的问题，而这些问题又是非常难以回答的，我们应该从现在就开始研究，这样，到我们需要它们时，手边才会有现成的答案。

今天，罗素的想法比较符合主流的观点。全球各地有许多团队正在进行他支持的人工智能安全性（AI-safety）研究。不过，对人工智能安全性的研究并不是历来如此。《华盛顿邮报》一篇文章将2015年视为人工智能安全性研究进入主流视野的元年。在那之前，对人工智能风险的讨论常常被主流人工智能研究者所误解和忽视，而且，他们将进行人工智能安全性研究的人视为企图阻碍人工智能进步并四处散播谣言的“卢德分子”。我们将在第5章继续探讨这个话题。

实际上，与罗素类似的担忧最早是由计算机先驱艾伦·图灵和数学家欧文·古德在半个世纪之前提出来的，古德与图灵在第二次世界大战中一起破译过德国军事的密码。在过去的10年里，关于人工智能安全性的研究主要由一些独立思想家来完成，比如埃利泽·尤德考斯基（Eliezer Yudkowsky）、迈克尔·瓦萨（Michael Vassar）和尼克·波斯特洛姆（Nick Bostrom），不过，他们并不是专业的人工智能研究者。这些人的研究对主流人工智能研究者影响甚微，因为主流研究者总是聚焦于他们的日常工作——如何让人工智能系统变得更智能，而不是思考如果他们成功了会造成什么样的长期后果。我认识的一些人工智能研究者，即便他们心中略有迟疑，也不太愿意表达出来，因为担心自己会被视为危言耸听的技术恐慌者。

我觉得，这种有失偏颇的情况需要被改变，这样，整个人工智能界才能联合起来，一起讨论如何建造对人类有益的人工智能。幸运的是，我并不是孤身一人在作战。2014年春天，我与我妻子梅亚、我的物理学家朋友安东尼·阿吉雷（Anthony Aguirre）、哈佛大学的研究生维多利亚·克拉科芙娜（Viktoriya Krakovna）以及Skype创始人扬·塔里安（Jaan Tallinn）一起，成立了一个非营利性组织“未来生命研究所”（Future of Life Institute，简称FLI）。我们的目标很简单：保证生命在未来继续存在下去，并尽可能的兴旺发达。具体而言，我们认为，技术赋予了生命一种力量，这种力量要么让生命实现空前的兴盛，要么让生命走向自我毁灭，而我们更青睐前一种。

2014年3月15日，未来生命研究所第一次会议在我家举行，我们开启了一场头脑风暴。大约有30人参加，与会者包括来自波士顿地区的学生、教授和其他思想家。会议在这个问题上达成了广泛的共识，那就是，虽然我们也应该关注生物技术、核武器和气候变化，但我们的第一个主要目标是帮助人工智能安全性研究进入主流视野。我在麻省理工学院物理系的同事、因研究夸克而获得诺贝尔奖的弗兰克·韦尔切克（Frank Wilczek）建议我们，可以从撰写专题文章开始，吸引人们对这个问题的注意力，从而让这个问题变得不容忽视。于是，我向罗素（那时候我还没见过他）和我的物理学同行史蒂芬·霍金寻求帮助，他们二人都同意加入我和韦尔切克，作为共同作者，一起写文章。虽然我们的专题文章改写了很多次，但还是被《纽约时报》等众多美国报纸拒绝，因此，我们将其发表在了我们在《赫芬顿邮报》的博客账号上。令我高兴的是，《赫芬顿邮报》联合创始人阿里安娜·赫芬顿（AriannaHuffington）亲自写来邮件说：“看到这篇文章，我太激动了！我们会把它放在头条的位置上。”于是，这篇文章被放在了主页的顶部，并引发了一大波媒体对人工智能安全性研究的报道，这波热潮一直延续到了当年的年底。埃隆·马斯克、比尔·盖茨等科技界领袖纷纷加入讨论。同年秋天，尼克·波斯特洛姆出版了《超级智能》（Superintelligence）一书，再一次点燃了公众的讨论热情。

在未来生命研究所，人工智能有益运动的下一个目标是让世界顶级的人工智能研究者齐聚一堂，澄清误解，铸就共识，并提出富有建设性的计划。我们知道，想要说服一群享誉全球的科学家来参加一个由外行人组织的会议是很难的，尤其是会议的主题还如此富有争议。因此，为了邀请到他们，我们竭尽了全力：禁止媒体参会；将会议时间安排在2015年1月份，地点安排在波多黎各的一个海滨度假村；免去了一切参会费用。我们给这次会议起了一个我们所能想到的最不危言耸听的标题：“人工智能的未来：机遇与挑战”。多亏我们的团队中有斯图尔特·罗素，因为有他的帮助，我们的组织委员会里才得以加入一批来自学术界和产业界的人工智能领袖，包括人工智能企业DeepMind创始人德米斯·哈萨比斯（Demis Hassabis），正是他，在2017年向人们证明了人工智能可以在围棋中打败人类。我对哈萨比斯了解得越多，就越发现他的热情不仅在于让人工智能变得更强大，还在于让人工智能变得有益于人类。

结果，这是一场心灵的非凡碰撞（见图1-3）。人工智能研究者、顶级经济学家、法律学者、科技领袖等思想家齐聚一堂，这些人中包括埃隆·马斯克和提出了“奇点”（Singularity）这个词的科幻作家弗诺·文奇（Vernor Vinge），我们会在第4章聚焦这个话题。

注：2015年1月的波多黎各会议让人工智能及其相关领域的研究者齐聚一堂。后排从左到右分别是：汤姆·米切尔（Tom Mitchell）、肖恩·奥黑格尔忒（Seán ÓhÉigeartaigh）、休·普莱斯（Huw Price）、沙米勒·钱德拉（ShamilChandaria）、扬·塔里安、斯图尔特·罗素、比尔·希巴德（Bill Hibbard）、布莱斯·阿奎拉·阿克斯（Blaise Agüera y Arcas）、安德斯·桑德伯格（AndersSandberg）、丹尼尔·杜威（Daniel Dewey）、斯图尔特·阿姆斯特朗（StuartArmstrong）、卢克·米尔鲍尔（Luke Muehlhauser）、汤姆·迪特里奇（TomDietterich）、迈克尔·奥斯本（Michael Osborne）、詹姆斯·玛尼卡（JamesManyika）、阿杰伊·阿格拉沃尔（Ajay Agrawal）、理查德·马拉（RichardMallah）、南希·钱（Nancy Chang）、马修·帕特曼（Matthew Putman）；其他站着的人，从左到右分别是：玛丽莲·汤普森（Marilyn Thompson）、里奇·萨顿（Rich Sutton）、亚历克斯·威斯纳-格罗斯（Alex Wissner-Gross）、山姆·特勒（Sam Teller）、托比·奥德（Toby Ord）、乔沙·巴赫（Joscha Bach）、卡特娅·格蕾丝（Katja Grace）、阿德里安·韦勒（Adrian Weller）、希瑟·罗夫-珀金斯（Heather Roff-Perkins）、迪利普·乔治（Dileep George）、谢恩·列格（Shane Legg）、丹米斯·哈萨比斯、文德尔·华莱士（Wendell Wallach）、查莉娜·蔡（Charina Choi）、伊利娅·苏特斯科娃（Ilya Sutskever）、肯特·沃克（Kent Walker）、塞西莉亚·蒂莉（Cecilia Tilli）、尼克·波斯特洛姆、埃里克·布莱恩约弗森（Erik Brynjolfsson）、史蒂夫·格罗桑（Steve Crossan）、穆斯塔法·苏莱曼（Mustafa Suleyman）、斯科特·菲尼克斯（Scott Phoenix）、尼尔·雅各布斯坦（Neil Jacobstein）、穆里·沙纳汉（Murray Shanahan）、罗宾·汉森（Robin Hanson）、弗朗西斯卡·罗西（Francesca Rossi）、纳特·索尔斯（Nate Soares）、埃隆·马斯克、安德鲁·麦卡菲（Andrew McAfee）、巴尔特·塞尔曼（Bart Selman）、米歇尔·赖丽（Michele Reilly）、阿伦·范德文德（Aaron VanDevender）、迈克斯·泰格马克、玛格丽特·博登（MargaretBoden）、约舒亚·格林（Joshua Greene）、保罗·克里斯蒂亚诺（PaulChristiano）、埃利泽·尤德考斯基、戴维·帕克斯（David Parkes）、劳伦特·奥尔索（Laurent Orseau）、施特劳贝尔（JB Straubel）、詹姆斯·穆尔（JamesMoor）、肖恩·勒加斯克（SeanLegassick）、马森·哈特曼（Mason Hartman）、豪伊·伦珀尔（Howie Lempel）、戴维·弗拉德克（David Vladeck）、雅各布·斯坦哈特（Jacob Steinhardt）、迈克尔·瓦萨、瑞安·卡洛（Ryan Calo）、苏珊·杨（Susan Young）、欧文·埃文斯（Owain Evans）、莉娃-梅丽莎·泰兹（Riva-Melissa Tez）、亚诺士·克拉玛（János Krámar）、杰夫·安德斯（GeoffAnders）、弗诺·文奇、安东尼·阿奎尔。前排蹲着的人分别是：山姆·哈里斯（Sam Harris）、托马索·波吉奥（Tomaso Poggio）、马林·索里亚彻克（MarinSoljačić）、维多利亚·克拉科芙娜、梅亚·奇塔-泰格马克（Meia Chita-Tegmark）；相机后面的人是：安东尼·阿奎尔（他旁边那个人类水平的智能把他PS进了照片里。）

这次会议的结果超过了我们最乐观的预期。或许，是因为有阳光与红酒的相伴，又或许，是因为时机正好。尽管话题很有争议，但我们最后还是达成了一份了不起的共识。我们将共识的详细内容写入了一封公开信^[1]，最后有8 000多人签名，其中涵盖了名副其实的“人工智能名人谱”。公开信的主旨是，我们应该重新定义人工智能的目标：创造目标有益的智能，而不是漫无目标的智能。公开信还提到了一份研究课题列表。参会者都同意，这些课题能进一步推进上述目标。人工智能有益运动开始逐步进入主流社会。在本书之后的章节中，我们将会介绍该运动的后续进展。

这个会议的另一个重要收获是：人工智能的成功所引发的问题不仅在智识上令人着迷，而且在道德上也非常重要，因为我们的选择可能会影响生命的整个未来。在历史上，人类所做出的选择的伦理意义固然很重要，但却时常受到限制：我们能从最严重的瘟疫中恢复，但最雄伟的帝国最终也会分崩离析。在过去，人们知道，无论什么时候，人类都会面临常年不断的灾害，比如贫穷、疾病和战争，这个事实就像太阳早晨一定会升起一样肯定，因此，我们必须想尽办法解决这些问题。不过，波多黎各会议上的一些发言人称，现今面临的问题可能和以前不一样。他们说，这是历史上头一遭，我们或许能发明出足够强大的科技，可以将那些灾害永久性地清除出去；又或者，它也可能将人类推向末日。我们可能会在地球上甚至地球之外构建出一个空前繁荣的社会，同时也可能会让全世界都处于强大的卡夫卡式的监控之下。

注：尽管媒体经常将马斯克描绘得与人工智能界格格不入，但其实，他们基本同意人工智能安全性研究是必要的。这张照片拍摄于2015年1月4日，在照片里，美国人工智能协会（Association for the Advancement of Artificial Intelligence，简称AAAI）主席汤姆·迪特里奇听说，马斯克前段时间资助了一项新的人工智能安全性研究项目，两人的兴奋之情溢于言表。未来生命研究所创始人梅亚·奇塔-泰格马克和维多利亚·克拉科芙娜“潜伏”在他们后面。

关于人工智能的三大误区

当离开波多黎各时，我坚信关于人工智能未来的对话应该持续下去，因为这是我们这个时代最重要的对话⁽⁹⁾。这场对话关乎我们所有人的未来，不应该只局限于人工智能研究者参与。这就是我写这本书的原因：

我希望你，我亲爱的读者，也能够加入这场对话。你想要什么样的未来？我们应不应该开发致命的自动化武器？你希望职业自动化发展成什么样？你会对今天的孩子提供哪些职场建议？你更希望看到新职业取代旧职业，还是一个不需要工作的社会，在那里，人人都可以享受无尽的闲暇时光和机器创造出来的财富？再进一步，你是否希望我们创造出生命3.0，并把它散播到宇宙各处？我们会控制智能机器，还是仅被它们控制？智能机器会取代我们，与我们共存，还是会与我们融为一体？人工智能时代，作为“人”，究竟意味着什么？你又希望它意味着什么？我们如何才能让未来变成自己想要的样子？

《生命3.0》这本书的目的是帮助你加入这场对话。正如我在前面所说，关于人工智能，存在许多迷人的争议，世界顶级专家们也难以达成共识。不过，我也见过许多无聊的“伪争议”，究其原因就是，有些人只是误解了对方的意思，所以各执一词，互不相让。为了帮助我们聚焦在那些最有趣的争议和开放式的问题之上，而不是在误解上继续纠缠，让我们先来澄清一些最常见的误解。

我们平时经常使用“生命”“智能”和“意识”这类词语，但它们其实存在许多不同的定义。有时候，人们并没有注意到，当他们使用这些词语时，表达的意思却各不相同，所以许多误解由此而生。为了避免你我也掉入这个陷阱，在表1-1中，我列举了在本书中我提到这些词时所表达的意思，作为备忘。其中一些定义，我到后面的章节中才会正式地介绍和解释。请注意，我并不是说我的定义比其他人的更好，我只是想在这里澄清我想表达的意思，以避免被误解。你将看到，我通常会把某个东西的定义下得广一些，让它们不仅可以用在人类身上，也可以用在机器身上，以避免“人类中心主义”的偏见。请你现在看一看这张备忘表。如果你在读后面的章节时，对某些词的定义感到困惑，也希望你回到这张表，再看一看，特别是读到第4～8章时。

续前表