生命3.0：人工智能时代，人类的进化与重生

在这个案例的决策链中，是人类做出了最终的决定。在时间的压力下，他过于信任自动化系统告诉他的信息，以致酿成了惨剧。根据全世界各个国家国防部门的说法，目前所有武器部署系统的决策链中都有人类参与，除了低技术含量的诡雷，比如地雷。但是，这些系统正在朝“全自动化武器”的方向发展，这种自动化武器系统能够自主选择和袭击目标。将人类排除出决策链之外，能够提高速度。从军事上来说，这具有很大的吸引力。如果在一场空战中，一方是完全自动化的无人机，能够立刻做出反应，而另一方的无人机反应更迟钝一些，因为它的操控员是坐在地球另一边的人类，你认为哪一方会赢？

不过，在一些案例中，完全是因为决策链中有人类的存在才能侥幸脱险。1962年10月27日，在古巴导弹危机中，11艘美国海军驱逐舰和“伦道夫号”航空母舰在古巴附近、美国“检疫隔离”区域之外的公海水域与苏联潜艇B-59狭路相逢。美国军方当时不知道，潜艇B-59上的温度已经升高到了45℃（相当于113华氏度），因为潜艇B-59的电池耗尽，只得关闭空调。由于吸入了过多的二氧化碳，潜艇B-59上的许多船员都晕过去了，濒临中毒的边缘。潜艇B-59上的船员与莫斯科失去联系好几天了，所以根本不知道第三次世界大战是不是已经爆发了。接着，美国军方开始向潜艇发射小型深水炸弹。潜艇B-59上的船员并不知道，美国军方已经告知了莫斯科方面，他们发射炸弹只是为了警告，迫使潜艇B-59浮上水面并离开。“我们认为，就是这样了，死到临头了，”船员奥尔洛夫（V. P. Orlov）回忆说，“感觉就像坐在一个铁桶里，外面有人不停地用锤子猛敲。”还有一件事美国军方当时也不知道，潜艇B-59上搭载着一枚核鱼雷，潜艇上的军官有权在不请示莫斯科的情况下发射它。鱼雷军官瓦伦汀·格里戈里耶维奇（Valentin Grigorievich）大喊：“我们会死，但我们要把他们都击沉，不能让我们的海军蒙羞！”幸运的是，发射鱼雷的决定需要经过潜艇上三名军官的一致同意。其中有一个名叫瓦西里·阿尔希波夫（Vasili Arkhipov）的军官坚持说“不行”。虽然很少有人听说过阿尔希波夫这个名字，但他的决定可能避免了第三次世界大战的爆发，他或许是现代历史上以一己之力为人类做出最大贡献的人^[32]。我们还需要思考的是，假如潜艇B-59是一艘完全由人工智能控制、人类无法插手的潜艇，又会发生什么样的事呢？

20年后的1983年9月9日，两个超级大国之间再次出现剑拔弩张的紧张局面：美国时任总统罗纳德·里根将苏联称为“邪恶帝国”；而就在前一个星期，苏联击落了一架飞入它领空的大韩航空客机，造成269人死亡，其中包括一名美国国会议员。当时苏联的一个自动化预警系统报告称，美国向苏联发射了5枚陆基核导弹。而此时，只留给军官斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）几分钟的时间来决定，这是不是一个假警报。他们检查卫星发现，它的运转是正常的，或许，这会促使彼得罗夫给出“核袭击即将到来”的报告。但是，彼得罗夫相信自己的直觉，因为他觉得，如果美国要袭击的话，不会只用5枚导弹，因此他向自己的长官汇报称，这是一个假警报，尽管那时候他并不知道实情。后来的调查发现，卫星当时犯了一个错，将太阳投射在云层上的阴影误认为是火箭引擎的火焰。^[33]我很怀疑，如果当时不是彼得罗夫，而是一个循规蹈矩的人工智能系统，会发生什么样的事。

下一次军备竞赛

现在你可能已经猜出来了，我个人对自动化武器系统怀有深深的担忧。不过，我还没有告诉你我最大的担心，那就是：假如爆发人工智能武器军备竞赛，会导致什么样的结局。2015年7月，我在写给斯图尔特·罗素的公开信中表达了这个担忧，后来，我在未来生命研究所的同事又给予了我许多有用的反馈。 [34]

一封来自人工智能和机器人研究者的公开信

自动化武器能在无人干涉的情况下选择和袭击目标。这些武器可能包括4轴飞行器，它们能够搜索和杀死满足某些预定标准的人。不过，这些武器中不包括导弹或遥控无人机，因为它们的目标决策都是由人类做出的。人工智能技术已经到达了一个临界点，过不了几年，就可能出现实际可行的系统部署，尽管这不一定合法。不用等到几十年后，自动化武器就会带来很大的风险：继火药和核武器之后，它被认为是第三次武器革命。

对自动化武器，有人支持，也有人反对。比如，有人提出，用机器来替代人类士兵可以降低伤亡人数，但也会降低发动战争的门槛。人类今天面临的一个重要问题是，是展开一场全球人工智能军备竞赛，还是努力阻止它发生？只要任意一个主要军事力量推动人工智能武器开发，那全球军备竞赛几乎是不可避免的，而这场技术进步的终点是显而易见的，那就是：自动化武器会成为明天的AK突击步枪。与核武器不同，它们不需要昂贵或稀有的原材料，因此，它们会变得无处不在，并且价格便宜，能够被所有主要军事力量大规模生产。那么，自动化武器早晚都会出现在黑市、恐怖分

子、意欲控制人民的独裁者、想要种族清洗的军阀等人的手中。自动化武器是刺杀、颠覆政权、制伏人群或选择性地杀死某个种族的理想工具。因此，我们相信，人工智能军备竞赛对人类无益。人工智能有许多方式可以在无须创造出新型杀人工具的情况下，使战场对人类（特别是平民）而言变得更加安全。

正如化学家和生物学家没兴趣开发生化武器一样，大多数人工智能研究者也没有兴趣开发人工智能武器，也不希望其他人用这种研究来玷污这个领域。因为这会激起公众对人工智能的反对，从而限制人工智能未来可能为社会带来的裨益。实际上，化学家和生物学家广泛支持那些阻止生化武器研究的国际条约，而这些条约都非常成功；无独有偶，大多数物理学家也都支持那些禁止太空核武器和致盲激光武器研发的条约。

有人可能会认为，这些担忧只是“和平环保狂”的杞人忧天。为了避免这种想法，我想要让尽可能多的硬核人工智能研究者和机器人学家在这封公开信上签名。国际机器人武器控制委员会（TheInternational Campaign for Robotic Arms Control）曾召集几百人签名反对杀手机器人。我觉得我们可以做得更好。我知道，专业机构通常不愿意为了某些带有政治意味的目的，而将自己庞大的会员电子邮箱地址分享出来，因此，我从网络文档中收集和整理了一份研究者和研究机构的名录，并在亚马逊的MTurk共享平台上做广告，招募人马来寻找这些人的电子邮箱地址。大多数研究者的邮箱地址都可以在他们所属的大学网站上找到。

在花了24小时和54美元之后，可以很骄傲地说，我成功获取了几百名成功入选美国人工智能发展协会的人工智能研究者的电子邮箱地址。其中，英裔澳籍人工智能教授托比·沃尔什（Toby Walsh）非常好心地同意向名单中的所有人发一封邮件，帮我们宣传这个活动。全球各地MTurk平台上的成员不知疲倦地为沃尔什列出更多的邮件名单。不久之后，就有超过3 000名人工智能研究者和机器人研究者在我们的公开信上签名，其中包括6位美国人工智能发展协会前任主席，还有来自谷歌、Facebook、微软、特斯拉等公司人工智能领域的领袖。未来生命研究所的志愿者团队夜以继日、不知疲倦地核对签名列表，删除开玩笑的条目，比如比尔·克林顿和莎拉·康娜。除此之外，还有17000人也签了名，其中包括史蒂芬·霍金。沃尔什在国际人工智能联合会议（International Joint Conference on Artificial Intelligence）上组织了一场新闻发布会后，这件事成了闻名世界的大新闻。

由于生物学家和化学家选择了自己的立场，如今他们才得以把主要精力放到创造对人类有益的药物和材料上，而不是制造生化武器上。人工智能和机器人学界现在也开始发声，公开信的签署者们希望他们的领域能以“创造更好的未来”，而不是“开发杀人新方法”被人们熟知。但是，人工智能未来的主要应用会是民用还是军用的呢？虽然在本章里我已花了很多笔墨来讨论前者，但人类可能很快就会开始在后者上投入重金，假如人工智能军备竞赛打响的话。2016年，民用人工智能的投资额超过了10亿美元，但这与美国国防部2017年120亿～150亿美元的人工智能相关项目的预算相比，简直是小巫见大巫。与此同时，中国和俄罗斯可能也注意到了美国国防部副长罗伯特·沃克（RobertWork）在宣布预算时所说的话：“我想要我们的竞争者好奇，黑幕后面到底藏着什么。”^[35]

是否应该付诸国际条约

虽然现在在国际上，禁止杀手机器人的风头正旺，但我们依然不知道未来会发生什么。如果真要发生点儿什么，会发生什么事呢？关于这个问题的争论十分活跃。虽然许多主要利益相关者都同意，世界众强国应该起草一份国际法规来指导自动化武器系统的研究与使用，但是，究竟应该禁止什么样的武器，以及禁令应当如何执行，这些问题都尚未达成协议。比如，是应该只禁止致命的自动化武器，还是应该把那些严重致残，比如致盲的武器也包括进去？我们应该禁止自动化武器的开发、生产还是拥有权？禁令应该禁止所有的自动化武器，还是如我们的公开信所说，只禁止攻击性武器，而允许防御性武器存在，比如防空炮和导弹防御系统？如果是后一种情况，那么，既然自动化武器系统很容易进入敌方领土，那它到底算不算是防御性系统？自动化武器的大部分部件都可以用于民用，那么，应如何执行这种条约？比如，运送亚马逊包裹的无人机和运送炸弹的无人机之间并没有太大的区别。

在这场争论中，一些人认为，要设计一份有效的自动化武器系统国际条约实在是太难了，简直毫无希望，因此，我们根本不应该尝试。但是别忘了，约翰·肯尼迪在宣布“登月计划”时曾强调说，只要某一件事在未来能大大造福于人类，那么，再困难也值得尝试。此外，许多专家认为，尽管事实证明，生化武器禁令的执行十分困难，但这样的禁令仍然具有很大的价值，因为禁令会让生化武器使用者蒙羞，从而间接限制它们的使用。

2016年，我在一次晚宴上遇到了美国前国务卿亨利·基辛格（Henry Kissinger），抓住这个机会，我询问了他在生化武器禁令中所扮演的角色。他向我解释了当他还在担任美国国家安全顾问时，是如何让前总统尼克松相信，生化武器禁令有利于美国国家安全。作为一位92岁高龄的老人，他的思维和记忆是如此敏锐，令我十分钦佩。同时，他从局内人的角度讲述的故事深深地吸引了我。由于美国已经因历史原因和核威慑力处在了超级大国的位置，如果爆发一场结局不明的全球性生化武器军备竞赛，对于美国来说，弊大于利。换句话说，如果你已经是最有权力的人，那么，最好遵照“如果没坏，就别修理”的格言。后来，斯图尔特·罗素加入了我们的餐后谈话，我们一起讨论了，为什么致命性的自动化武器禁令有利于国家安全，甚至是全人类的安全：从这场军备竞赛中获益最大的，并不是超级大国，而是一些较小的“流氓国家”和非国家主体，比如恐怖分子，因为一旦自动化武器被开发出来，他们就可以在黑市上进行交易。

一旦大规模生产的小型人工智能杀人无人机的成本降到只比智能手机贵一点点，那么，无论是想要刺杀政客的恐怖分子，还是想要报复前女友的失恋者，只要他们把目标的照片和地址上传到杀人无人机，它就会飞到目的地，识别和杀死那个人，然后自毁，以保证没人知道谁是幕后黑手。无独有偶，那些想要进行种族清洗的人也能很容易地对无人机进行编程，让它们只杀死那些拥有某些肤色或种族特征的人。斯图尔特·罗素预言，这种武器变得越智能，杀死每个人所需要的材料、火力和成本也就越低。比如，罗素很担心有人会用黄蜂大小的无人机来杀人，如果它们能射击眼睛（因为眼球很柔软，很小的子弹就能深入大脑），那它们就能用极小的爆炸力来杀人，成本也极低。或者，它们也可以用金属爪子抓住人的头部，然后施加微小的聚能引爆装置击穿头骨。如果一辆卡车可以释放100万个这样的杀手无人机，那你就拥有了一种恐怖的全新大规模杀伤性武器，它可以用来选择性地杀死事先规定的某一类人，而保证其他人和其他物体均毫发无伤。

许多人可能会反驳说，我们可以让杀手机器人的行为符合伦理标准，以此来消除上述的担忧，比如，让它们只杀敌方士兵。但是，如果我们连一个禁令都执行不了，又如何能保证敌人的自动化武器是100%符合伦理标准的呢？这难道不比从一开始就禁止生产自动化武器更难？我们怎能一边认为，文明国家训练有素的士兵不遵守战争规则，还不如机器人做得好，而另一边又认为，流氓国家、独裁者和恐怖分子十分遵守战争规律，永远不会部署机器人来打破这些规则。这不是自相矛盾吗？

网络战争

关于人工智能在军事中的应用，还有一个有趣的应用可以让你在手无寸铁的情况下攻击敌人，那就是网络战争。有一件事堪称未来网络战争的小小序曲——震网病毒（Stuxnet）。震网病毒感染了伊朗铀浓缩项目的高速离心机，使其分崩离析。社会的自动化程度越高，攻击性人工智能的力量就越强大，网络战争的破坏性就越大。想想看，如果你黑入了敌人的无人驾驶汽车、自动巡航飞机、核反应堆、工业机器人、通信系统、金融系统和电网，那么，你就能高效地摧毁对方的经济体系，削弱其防卫系统。如果你还能黑入对方的武器系统，那就更好了。

本章一开始，我们就探讨了人工智能近期有许多有益于人类的惊人机遇，只要我们保证它是稳定的，并且不被黑客攻破。人工智能本身当然可以用来加强网络防线，从而让人工智能系统更加稳定，但很显然，人工智能也可以用来进行攻击。如何保证防御方胜出，或许是近期人工智能研发最严峻的目标；如若不然，我们建造的高级武器也可能倒持戈矛，被用来攻击我们自己！

工作与工资

本章到目前为止，我们主要聚焦于人工智能如何催生具有变革性但同时又让普通人负担得起的新产品和新服务，从而影响消费者。那么，人工智能会如何通过变革就业市场来影响劳动者呢？如果我们在用自动化促进经济繁荣发展的同时，能搞清楚如何做才不会剥夺人们的收入和生活目标，那么，我们就能创造出一个人人都可享有闲暇和空前富足的美好未来。在这一点上思考得最多、最深入的人，莫过于经济学家埃里克·布莱恩约弗森了，他也是我在麻省理工学院的同事。虽然他总是梳洗整洁，衣着考究，但他其实是冰岛裔。我常常忍不住想，布莱恩约弗森或许是为了融入我们学校的商学院，前不久才刮掉了满脸“维京人”式的狂野红胡子。无论如何，他自己肯定没有“刮掉胡子”的疯狂想法。布莱恩约弗森把自己对就业市场的乐观预期称为“数字化雅

典”（Digital Athens）。古代雅典公民之所以能拥有悠闲的生活，享受民主、艺术和游戏，主要是因为他们蓄养奴隶来做苦工。那么，为何不用人工智能来代替奴隶，创造出一个人人都有权享受的数字化乌托邦呢？在布莱恩约弗森的心目中，人工智能驱动的经济不仅可以消除忧愁和苦差，创造出富足的物质生活，让每个人都能得到自己想要的东西，它还能提供许多美妙的新产品和新服务，满足今天的消费者尚未意识到的需求。

技术加剧不平等的3个方面

如果每个人的时薪都逐年增长，每个想要更多闲暇的人都可以在逐渐减少工作时间的同时持续提升生活质量，那么，我们就能在未来的某一天实现布莱恩约弗森所说的“数字化雅典”。从图3-5中我们可以看到，这正是美国从第二次世界大战到20世纪70年代中期这段时间内所发生的事情：尽管存在收入不均，但收入的总体体量在变大，使得每个人分到的蛋糕也变得越来越大。不过接下来，发生了一些改变，布莱恩约弗森是第一个注意到这件事的人：从图3-5中可以看到，虽然经济水平正在持续增长，平均收入持续提升，但过去40年中的收益都进入了富人的口袋，主要是顶端1%的富人，而底端90%穷人的收入停滞增长。这种不平等的加剧在财富上的表现更加明显。对美国社会底层90%的家庭来说，2012年的平均财富是85 000美元，与25年前一模一样，而顶端1%的家庭在这段时间内的财富即使经过通胀调整之后，还是翻了一倍多，达到了1 400万美元。^[36]从全球的角度来看，情况更糟。2013年，全球最穷的一半人口（约36亿人口）的财富加总起来，只相当于世界最富有的8个人的财富总额。^[37]这个统计数据不仅暴露了底层人民的贫困与脆弱，也暴露了顶端富豪令人叹为观止的财富。在我们2015年的波多黎各会议上，布莱恩约弗森告诉参会的人工智能研究者，他认为人工智能和自动化技术的进步会不断将总体经济的蛋糕做

大，但并没有哪条经济规律规定每个人或者说大部分人会从中受益。

尽管大多数经济学家都同意不平等现象正在加剧，但这个趋势是否会继续下去？如果会的话，又是为什么？有趣的是，在这个问题上，经济学家们各执一词。政治谱系上位于左翼的人通常认为，主要的原因是全球化和某些经济政策，比如对富人减税。但布莱恩约弗森和他在麻省理工学院的合作者安德鲁·麦卡菲认为另有原因，那就是技术^[38]。具体而言，他们认为数字技术从三个不同的方面加剧了不平等的程度。

第一，技术用需要更多技能的新职业取代旧职业，这有益于受过良好教育的人：从20世纪70年代中期开始，硕士学位持有者的薪水增长了约25%，而高中辍学者的平均工资降低了30%^[40]。

第二，布莱恩约弗森和他的合作者认为，从2000年开始，在公司的收入中，越来越大的份额进入了那些拥有公司而不是为公司辛勤工作的人的口袋里。此外，只要自动化技术持续发展，我们还会看到，机器拥有者分走的蛋糕会越来越大。这种“资本压倒劳动力”的趋势对持续增长的数字经济来说至关重要；数字经济的概念是由技术预言家尼古拉斯·尼葛洛庞帝（Nicholas Negroponte）提出的，他认为数字经济是移动的比特，而不是移动的原子。如今，从书本到电影，再到税务筹备工具，一切都被电子化了，在全世界任何地方多卖出一套这些东西的成本几乎为零，而且不用雇用新员工。这使得收益的大部分进入了投资者而不是劳动者的口袋，这也解释了，为什么尽管底特律“三巨头”⁽³⁵⁾1990年的总收益与硅谷“三巨头”在2014年的总收益几乎相等，但后者的员工数比前者少9倍，并且股市上的市值是前者的30倍^[41]。