生命3.0：人工智能时代，人类的进化与重生

语言处理人工智能。

机遇与挑战

前两章的这三个例子只是管中窥豹，因为人工智能在许多重要的方面都在取得日新月异的进步。此外，尽管我在这些例子中只提到了两家公司，但实际上，各大高校和企业里有许多研究团队正在你追我赶，他们在人工智能的研究上并不落后。在全世界高校的计算机系里，你仿佛能听到震耳欲聋的“吸尘器噪声”，因为苹果、百度、DeepMind、微软等公司都在用丰厚的薪酬，将高校里的学生、博士后和教师像吸尘一样“吸”走。

虽然我只提到了人工智能在这三个方面的突破，但希望大家不要被我所举的例子误导，由此就认为人工智能的历史就是由一段一段的停滞期组成的，间或插入一些突破。相反，我认为人工智能一直是稳步向前发展的，只不过每当它跨越一个障碍，从而让某种超乎想象的新应用或新产品成为可能时，媒体就会宣扬说这是一种突破。因此，我认为在接下来的许多年里，人工智能很可能还会一直像这样小步前进。此外，正如我们在第2章中所看到的，当人工智能在大多数任务上的表现与人类不相上下时，我们没有理由认为这样的进步不能持续下去。

这就提出了一个问题：这对我们会产生什么影响？人工智能的短期进步会如何改变身为人类的意义？我们已经看到，想宣称人工智能毫无目标、广度、直觉、创造力或语言能力是一件越来越难的事情，而许多人认为这些正是生而为人的核心特征。这意味着，即使在不远的未来，在任何人类水平的通用人工智能在所有任务上赶超人类之前，人工智能也可能会对一些问题产生巨大的影响，这些问题包括我们如何看待自己、我们在人工智能的帮助下能做什么，以及我们与人工智能竞争时如何才能挣到钱。那么，这些影响是好是坏？短期内又会带来什么样的机遇和挑战？

在我们的文明中，备受珍视的一切都是人类智能的产物，所以，如果我们能用人工智能来创造新的产物，我们的生活显然可以变得更好。即使是很小的进展，也可能催生巨大的科技进步，并可能减少事故、疾病、不平等、战争、困苦和贫穷等问题。但是，若想收获人工智能的好处，又不想制造新问题，我们需要回答许多重要的问题，比如：

◦ 我们如何才能把未来的人工智能系统建造得比今天更加稳健，好让它们完成我们想要的事情，而不会崩溃、发生故障或被黑客入侵？

◦ 我们如何才能更新现有的法律体系，让其更加公平有效，并紧跟数字世界的快速发展？

◦ 我们如何才能让武器变得更加聪明，不会杀死无辜的平民，也不会触发失控的致命性自动化武器军备竞赛？

◦ 我们如何才能通过自动化实现繁荣昌盛，而不会让人们失去收入和生活目标？

本章接下来的部分将逐个探讨这些问题。这4个短期问题针对的对象分别是计算机科学家、法学家、军事战略家和经济学家。然而，若想恰逢其时地得到答案，那么每个人都需要参与到这场对话中来。因为，正如我们将会看到的那样，这些挑战超越了所有的传统边界——既超越了专业之间的藩篱，又跨越了国界。

故障vs.稳健的人工智能

信息技术对人类的所有事业领域都产生了巨大的积极影响，从科学界到金融业、制造业、交通运输业、医疗服务业、能源产业和传媒产业，但这些影响在人工智能的潜力面前，全都相形见绌。我们对技术的依赖性越强，人工智能的稳健性、可信度和服从度就变得越发重要。

纵观人类历史，为了让技术造福人类，我们一直依赖的是试错的方法，也就是从错误中学习。我们先发明了火，但意识到火灾无情后，才发明了灭火器和防火通道，组建了火警和消防队；我们发明了汽车，但由于车祸频发，后来才又发明了安全带、气囊和无人驾驶汽车。从古至今，技术总会引发事故，但只要事故的数量和规模都被控制在有限的范围内，它们就利大于弊。但是，随着我们不断开发出越来越强大的技术，我们不可避免地会到达一个临界点：即使只发生一次事故，也可能导致巨大的破坏，足以抹杀所有的裨益。有些人认为，可能爆发的全球核战争就是这样的例子。还有一些人认为，生物工程产生的瘟疫也算是其中一例。在第4章，我们将会探讨一个富有争议的话题——未来的人工智能是否会导致人类的灭绝。不过，我们不需要这些极端的例子就能得出一个重要的结论：随着技术变得越来越强大，我们应当越来越少地依赖试错法来保障工程的安全。换句话说，我们应当更加积极主动，而不只是亡羊补牢。我们应该投资人工智能的安全性研究，保证一次事故也不会发生。这就是为什么人类社会在核反应堆安全方面的投资远远超过对捕鼠器安全方面的投资。

这也是为什么在未来生命研究所的第一次会议上，人们对人工智能的安全性研究表现出了极大的兴趣。计算机和人工智能系统总会崩溃，但这次有些不一样：人工智能逐步进入了现实世界。如果它导致供电网、股市或核武器系统的崩溃，那么这可不能用“小麻烦”这个词一笔带过。在本节剩下的部分，我会向你介绍人工智能安全性研究的4个主要领域。这4个领域是当今人工智能安全性研究方面讨论的主流，世界各地都有学者正在钻研。它们分别是：验证（verification）、确认（validation）、安全（secutiry）和控制（control）⁽³⁰⁾。为了避免枯燥，我们先来看看信息技术过去在不同领域的成功和失败案例，看看我们能从中学到什么富有价值的教训，以及这些案例给研究带来了哪些挑战。

大多数故事发生的年代很久远，虽然那时的计算机系统十分落后，没有人会把它们和人工智能联系起来，它们也很少造成什么损失，但或多或少，还是给我们带来了一些教训，指导我们在未来如何设计安全又强大的人工智能。这些人工智能如若发生故障，就会带来真正的灭顶之灾。

人工智能让太空探索成为可能

让我们先来看看我最喜欢的领域：太空探索。计算机技术让人类登上了月球，并用无人飞行器探索太阳系的行星，甚至登上了土星的卫星土卫六和一颗彗星。我们将在第6章谈到，未来的人工智能可能会帮助我们探索其他的恒星系和星系，只要它不发生故障就行。1996年6月4日，当科学家们目睹欧洲空间局的“阿丽亚娜5号”火箭搭载着他们建造的仪器一飞冲天时，都满怀希望，欣喜若狂，期待该火箭能帮他们展开地球磁气圈的研究。但37秒之后，他们脸上的笑容立刻消失了，只见火箭在空中炸成了灿烂的烟花，亿万美元的投资毁于一旦。经过调查，他们发现导致这次事故的原因是，当火箭中的某个软件在处理一个数字时，由于这个数字太大，超出了预先分配给它的16个比特的范围，因此发生了故障^[5]。两年后，NASA的火星气候探测器（MarsClimate Orbiter）意外落入了这颗红色星球的大气层，最终瓦解碎裂，此次事故由计量单位的混淆造成，飞行系统软件使用公制单位计算推进器动力，而地面人员输入的推进器参数则使用的是英制单位，导致飞行系统软件的错误率高达445%。^[6]这是NASA史上第二“昂贵”的故障，排名第一位的是1962年7月22日，NASA的金星探测器“水手1号”在卡纳维拉尔角发射升空后，旋即爆炸，原因是一个符号的错误造成了飞行控制软件的故障。^[7]1988年9月2日，似乎为了证明并不是只有西方人才掌握了将“故障”发射上天的本事，苏联的“福波斯1号”任务也失败了。这是有史以来最重的行星际飞行器，它拥有一个远大的目标：在火卫一上安置一个着陆器。但这一切因为一个连字符的丢失而烟消云散。这个故障将“中止任务”的指令发送给了正在赶往火星途中的“福波斯1号”，导致它关闭了所有系统，与地球的通信中断。 [8]

这些教训告诉我们，计算机科学家所说的“验证”非常重要。验证的意义是，保证软件完全满足所有的预期要求。关系到的生命和资源越多，我们就越希望软件能达到预期要求。幸运的是，人工智能可以帮助我们把“验证”这个过程变得自动化，并对其进行改善。比如，seL4是完全通用型的操作系统内核，它最近进行了一次精确的规范标准验证，旨在保证不会发生崩溃和不安全的运行。虽然它还没有微软Windows和Mac OS系统那些花哨的装饰，但你可以放心大胆地使用，而不用担心它出现蓝屏死机或旋转彩球的现象。美国国防部高级研究计划局（DARPA）资助开发了一系列可被证明是安全的高可靠性开源工具，称为“高可靠性网络军事系统”（High Assurance CyberMilitary Systems，简称HACMS）。不过，我们要面对的一个重要挑战是，如何让这些工具变得足够强大，并易于使用，这样它们才会被广泛使用；另一个挑战是，当软件运用于机器人和新环境时，当传统的预先编程软件被能够持续学习的人工智能取代并因此改变行为时，“验证”任务本身会变得更加困难。

为金融业带来巨大盈利机会的人工智能

金融业是另一个被信息技术改变的领域。信息技术让金融资源在全球范围内以光速进行高效地重新分配，让所有昂贵的东西，比如按揭贷款和创业，变得唾手可得。人工智能的进展很可能会给金融贸易行业带来巨大的盈利机会，比如，如今股票市场中的大部分买卖决定都是由计算机自动做出的，而且，我在麻省理工学院的有些学生毕业时总是会受到高薪的诱惑，去改善这些算法，以让计算机做出更好的决策。

验证对金融软件的安全性来说，也十分重要。在这一点上，美国公司骑士资本集团（Knight Capital）在2012年8月尝到了血泪般的教训：它在45分钟内损失了4.4亿美元，只因其部署了未经验证的交易软件。^[9]不过，发生于2010年5月6日、造成数万亿美元损失的华尔街的“闪电崩盘”（Flash Crash）事故则是另一个原因导致的。虽然“闪电崩盘”事故在市场恢复稳定的半小时前造成了巨大的损失，使得像宝洁这样的著名公司的股价在1分钱和10万美元之间来回摇摆，^[10]但这个事故并不能通过“验证”避免，或者是由计算机失灵造成的，而是因为“预期被违背”：许多公司的自动交易程序进入了一个意料之外的情形，在这个情形下，它们的前提假设失效了，比如，其中一个失效的假设认为，如果股票交易计算机报告的股票价格是1美分，那这只股票的价格就真的是1美分。

“闪电崩盘”事故说明，计算机科学家所谓的“确认”非常重要。“验证”问题问的是“我建造系统的方式正确吗”，而“确认”问题问的是“我建造的系统正确吗”，比如，这个系统所依赖的假设是不是总是有效？如果不是，如何改进它，才能更好地应对不确定的情况？⁽³¹⁾

人工智能将引发一切制造业的新潮流

不用说，人工智能在改进制造业上具有巨大的潜力，它控制的机器人在效率和精度上都有很大的提升。日新月异的3D打印机能打印出任何东西的原型，从写字楼到比盐粒还小的微型机械；体积庞大的工业机器人生产着汽车和飞机，与此同时，计算机控制的便宜轧机、机床、切割机等机器不仅驱动着工厂的运转，还催生了草根级的“创客运动”（maker movement），世界各地的爱好者们在1 000多个由社区运营的“微观装配实验室”（fab labs）中实践着自己的想法^[11]（见图3-3）。

不过，我们周围的机器人越多，对它们的软件进行“验证”和“确认”的重要性就越高。

历史上第一个被机器人杀死的人是罗伯特·威廉姆斯（RobertWilliams），他是美国密歇根州弗拉特罗克福特汽车工厂的一名工人。1979年，一个本应从储物区取回零件的机器人发生了故障，于是，他爬上该区域，准备亲自取回零件，而这时，机器人一声不响地重新运作起来，敲碎了他的脑袋，直到30分钟后，他的同事才发现这个惨状^[12]。第二个机器人的受害者是日本川崎重工业集团明石工厂的维护工程师浦田健志（Kenji Urada）。1981年，他在维修一台坏掉的机器人时，不小心按下了开关，被机器人的液压臂碾压致死^[13]。2015年，在德国包纳塔尔一家大众汽车生产车间里，当一名22岁的合同工在设置机器人、好让它抓取和操纵汽车零件时，发生了一些故障，致使机器人抓住他，并将他压死在一块金属板上^[14]。

虽然这些意外事故都很惨痛，但我们必须意识到，它们只是所有生产事故中很小的一部分。此外，随着技术的进步，生产事故的数量已经减少了许多，美国的死亡人数从1970年的14 000例降低到了2014年的4 281例^[15]。上面提到的三个例子说明，如果将智能植入愚钝的机器中，让机器学会在人类周围时更加小心谨慎，那么，生产的安全性就一定能得到进一步提升。如果有更好的“确认”，以上三个事故都可以避免。这些机器人造成严重的后果，不是因为故障，也不是出于恶意，而是因为它们做出了无效的假设，这个假设就是：那里没有人，或者那个人是一个汽车零部件。

交通运输业，人工智能大施拳脚的重地

虽然人工智能体在制造业中挽救了许多生命，但它能拯救更多人的领域却是在交通运输业。2015年，单是交通事故就吞噬了120万条生命，空难、列车事故和船难加起来共造成了数千人的死亡。美国的工厂安全标准很高，2016年的机动车事故共造成35 000人死亡，比所有生产事故加起来的死亡人数的7倍还多^[16]。2016年，在得克萨斯州奥斯汀举行的美国人工智能发展协会年度会议上，以色列计算机科学家摩西·瓦尔迪（Moshe Vardi）在人工智能改善交通事故上表达了强烈的认同。他认为，人工智能不仅能够降低交通事故的死亡人数，而且这是它必须做的事情。他宣称：“这是一项伦理责任！”由于大多数车祸都是由人类的错误导致的，因此，许多人都相信，采用人工智能驱动的无人驾驶汽车将能降低至少90%的由交通事故导致的死亡人数。在这种乐观想法的驱动之下，无人驾驶汽车的研究正在如火如荼地进行。在埃隆·马斯克的设想中，未来的无人驾驶汽车不仅会更安全，还能利用闲暇时间在打车应用Uber和Lyft的竞争中掺一脚，为它们的主人赚钱。

目前，无人驾驶汽车的安全记录确实比人类司机的更好，而过去发生的事故强调了“确认”的重要性和难度。无人驾驶汽车的第一次轻微交通事故发生在2016年2月14日，一辆谷歌无人驾驶汽车对一辆公交车做出了错误假设，它错以为当它在公交车前面驶入主路时，公交车司机会让它先行。无人驾驶汽车的第一次致命事故则发生在2016年5月7日。一辆自动驾驶的特斯拉汽车在交叉路口撞上了一辆卡车后面的拖车。这个事故是由两个错误的假设造成的^[17]：第一，它错以为拖车上明亮的白色部分只是天空的一部分；第二，它错以为司机正在注意路况，如果有事发生，他一定不会袖手旁观⁽³²⁾。后来证明，这位拖车司机当时正在看电影《哈利·波特》。

但是，有时就算有了好的“验证”和“确认”，还不足以完全避免事故，因为我们还需要好的“控制”，也就是让人类操作员能够监控系统，并在必要时改变系统的行为。想要这种人工介入（human-in-the-loop）的系统保持良好的工作状态，就必须保持有效的人机交流。比如，如果你忘记关上汽车的后备箱，那么，仪表盘上就会亮起红色的警报灯来提醒你。相比之下，英国渡轮“自由企业先驱号”在1987年3月6日离开泽布吕赫港时，舱门未关闭，船长却没有收到警报灯等的警告，结果，渡轮在离开港口后迅速倾覆，酿成了193人殒命的惨剧。 [18]

2009年6月1日晚，又一次发生了因缺乏“控制”造成的悲剧。如果人机交流更好一些，这个悲剧本可以避免。当晚，法国航空447号航班坠入了大西洋，飞机上的228人无一生还。官方事故调查报告称，机组人员未能意识到飞机已失速，因此，未能及时做出恢复操作，比如下推飞机头部，但等意识到时为时已晚。航空安全专家认为，如果驾驶舱内有一个能提醒飞行员机头上翘角度过大的攻角指示器，这场悲剧便可以避免。

1992年1月20日，因特航空148号航班坠毁在法国斯特拉斯堡附近的孚日山脉，87人不幸丧生。这次事故的原因倒不是缺乏人机交流，而是用户界面不清楚。飞行员想以3.3度的角度下降，因此在键盘上输入了“33”，但自动驾驶仪却将其解读为“每分钟10千米”；由于自动驾驶仪当时处在另一种模式，而显示屏的尺寸过小，导致模式没有显示完整，致使飞行员忽略了显示出的错误。

人工智能让能源优化更高效

信息技术在发电和配电方面发挥了神奇的作用。它用精巧的算法在全球电网中对电力的生产和消耗进行平衡，并用复杂的控制系统保持发电厂安全有效地运行。未来的人工智能程序有可能将智能电网变得更加智能，它能对时时变化的电力供给和需求进行优化调整，甚至能在单个屋顶太阳能电池板和单个家用蓄电池系统的层面上进行调整。然而，2003年8月14日，在那个星期四，美国和加拿大约有5 500万人遭遇了停电，在某些地方，停电甚至持续了好几天。无独有偶，这次事故的主要原因也是因为人机交流的不畅通：在俄亥俄州的一间控制室内，一个软件故障让一个警报系统失灵，未能及时提醒操作员进行电力的重新分配，就像一条过载的线路碰上了未经修剪的树枝，使得一个小问题逐渐走上了失控的道路。^[19]

1979年3月28日，宾夕法尼亚州三里岛的一个核反应堆发生了部分堆心融毁事故，导致了约10亿美元的清理费用，并引发了人们对建立核电站的大规模抗议。最终的事故调查报告揭露了多个原因，比如糟糕的用户界面。^[20]特别值得一提的是，有一个警示灯，操作员认为它指示的是一个重要的安全阀门的开启状态，而实际上，它指示的是关闭阀门的信号有没有被发出去，因此，操作员根本没有意识到这个阀门在关闭时卡住了，一直保持开着的状态。

这些发生在能源业和交通业的事故告诉我们，当我们把人工智能植入越来越实体化的系统中时，不仅需要研究如何让机器自身能运转良好，而且还需要研究如何才能让机器与人类操控者有效地合作。随着人工智能越来越聪明，我们这不仅需要为信息共享开发出更好的用户界面，还需要研究如何才能在人机协作的团队中更好地分配任务。比如，将一部分控制权移交给人工智能，将人类的判断力运用到价值最高的决策问题上，而不是让许多不重要的信息来分散人类操控者的注意力。