人工智能时代：破解人机共存密码（套装共10册）

同样的想法也适用于政府和公司等实体。政府的明显缺陷是：过度关注政府官员的偏好（财政和政治上的偏好），而对被统治者的偏好关注太少。偏好本应可以通过选举传达给政府，但对于如此复杂的任务，政府的“带宽”似乎非常小（大约每隔几年才得到一个字节的信息）。在大多数国家里，政府仅仅是一群人把自己的意志强加给其他人的一种手段。而公司则不遗余力地了解客户的偏好，无论是通过市场调查还是以购买决策的形式直接反馈。另外，通过广告、文化影响甚至化学物质上瘾来塑造人类的偏好，也是被接受的经商方式。

对人工智能的治理

人工智能有重塑世界的能力，而对重塑的过程，我们必须以某种方式加以管理和引导。如果发展有效治理人工智能的大量举措可以作为一种指导，那么我们的状态非常好。许多人都在成立委员会、理事会或国际小组。世界经济论坛已经分别确定了近300项为人工智能制定的道德原则。我从电子邮箱就可以整理出一份长长的邀请清单，人们邀请我参加“关于新兴人工智能技术对社会和道德产生影响的未来国际治理的全球高峰论坛”。

人工智能与核技术的情况截然不同。第二次世界大战后，美国掌握了全部核技术。1953年，美国总统德怀特·艾森豪威尔向联合国提议成立一个国际机构来监管核技术。1957年，国际原子能机构开始运转，它是全球唯一的监督核能安全与有益发展的机构。

相比之下，很多国家手里都掌握着人工智能。可以肯定的是，很多国家都资助了大量人工智能研究，但几乎所有的研究都发生在安全的国家实验室之外。大学里的人工智能研究人员是一个广泛的、合作的国际社会的一部分，通过共同的兴趣、会议、合作协议和专业协会联系在一起，如AAAI（美国人工智能协会）和IEEE（电气和电子工程师协会，其中包括成千上万名人工智能研究人员和从业者）。也许现在大部分人工智能研发投资都发生在大大小小的公司里。截至2019年，这些公司有美国的谷歌（包括DeepMind）、脸书、亚马逊、微软和IBM，以及中国的腾讯、百度，在某种程度上还有阿里巴巴，它们都是全球最大的公司。^[2] 除了腾讯和阿里巴巴，其他所有公司都是“人工智能合作伙伴组织”的成员。这是一个行业联盟，其宗旨之一是承诺在人工智能安全方面进行合作。最后，尽管绝大多数人几乎不具备人工智能方面的专业知识，但参与者至少有一种表面上的意愿，即愿意考虑人类的利益。

因此，这些就是掌握着大部分人工智能技术的玩家。它们的利益并不完全一致，但它们都有一个共同的愿望，即随着人工智能系统变得更加强大，它们都希望保持对人工智能系统的控制。（其他目标，如避免大规模失业，是政府和大学研究人员的共同目标，但这未必是那些希望在短期内从尽可能广泛的人工智能部署中获利的公司的目标。）为了巩固这一共同利益并实现协调一致的行动，拥有召集力的组织出现了，这大致意味着，如果这些组织召开会议，人们会受邀参加。除了能够将人工智能研究人员聚集在一起的专业协会，以及将企业和非营利性机构结合在一起的“人工智能合作伙伴组织”之外，典型的召集者是联合国（面向政府和研究人员）和世界经济论坛（面向政府和企业）。此外，七国集团（G7）还提议成立一个国际人工智能小组，希望它能发展为类似联合国政府间气候变化专门委员会的机构。听上去举足轻重的报道层出不穷。

通过所有这些活动，对人工智能的治理是否取得了实际进展？或许令人惊讶的是，答案是肯定的，对人工智能的治理至少具备发展的潜力。世界各地的许多政府都在为自己配备咨询机构，以帮助其制定法规，或许最突出的例子是欧盟的人工智能高级专家组。针对用户隐私、数据交换和避免种族偏见等问题的协议、规则和标准开始出现。

政府和企业正在努力为无人驾驶汽车制定规则，这些规则将不可避免地包含跨境元素。有一个共识是，如果人工智能系统是可信的，那么人工智能决策必须是可以解释的，这一共识已经在欧盟的GDPR条例中得到部分实施。在加利福尼亚州，一项新法律禁止人工智能系统在某些情况下模仿人类。最后这两项——可解释和模仿问题，无疑与人工智能的安全和控制问题有关。

目前，在考虑维持对人工智能系统的控制问题上，我们尚无可实施的建议可以向政府或其他组织提出。“人工智能系统必须安全可控”这样的规定没有任何影响力，因为其中的术语还没有确切的含义，也因为没有广为人知的工程方法来确保安全性和可控性。但是，让我们乐观一点，想象一下，几年之后，通过数学分析和以实用的应用程序的形式出现的实践，“可证明有益的人工智能”的有效性将被建立起来。例如，我们可能拥有个人数字助理，我们可以信任它们使用我们的信用卡，筛选我们的电话和电子邮件，管理我们的财务，因为它们已经适应了我们的个人偏好，知道什么时候可以继续，什么时候最好寻求指导。我们的无人驾驶汽车可能已经学会了与彼此以及与人类司机互动，我们的家用机器人甚至可以与最倔强的蹒跚学步的幼儿顺畅地交流。运气好的话，没有猫会被烤熟当晚餐，也没有鲸肉会被提供给绿党成员享用。

在这一点上，指定软件设计模板或许是可行的，各种应用程序必须符合这些模板才能销售或连接到互联网，就像应用程序必须通过多项软件测试才能在苹果的App Store商店或谷歌的Google Play商店销售一样。软件供应商可以提出额外的模板，只要他们能证明这些模板满足（当时定义良好的）安全性和可控性的要求。人们有报告问题和更新产生不良行为的软件系统的机制。人们围绕可证明安全的人工智能程序的理念，创建专业的行为准则，并将相应的定理和方法整合到课程中，以满足有抱负的人工智能和机器学习实践者的需求，这也是有意义的。

对于一位经验丰富的硅谷观察家来说，这听起来可能有些天真。硅谷强烈反对任何形式的监管。尽管制药公司在向公众发布新药之前必须通过临床试验，以证明其药品的安全性和（有益的）药效，这已成为惯例，但软件行业的运作则遵循一套不同的规则——没有规则。一家软件公司里“一群喝红牛饮料的家伙”^[3]可以在没有任何第三方监督的情况下发布或升级影响数十亿人的产品。

然而不可避免的是，科技行业不得不承认其产品至关重要。如果它们很重要，那么产品不会产生有害影响也很重要。这意味着将会出现一些规则来管理科技产品与人们的互动，例如禁止那些持续操纵偏好或导致上瘾行为的设计。我毫不怀疑，从一个不受监管的世界过渡到一个受监管的世界将是一个痛苦的过程。我们希望科技行业不需要切尔诺贝利事故那样（或者更糟糕）的灾难来克服行业的阻力。

滥用

对软件行业而言，监管可能是痛苦的，但那些在自己的地下堡垒里密谋统治世界的邪恶博士令人无法容忍。毫无疑问，犯罪分子、恐怖分子和流氓国家将有动机绕过智能机器设计上的任何限制，让智能机器能够用来控制武器，或是策划和实施犯罪活动。危险并不在于邪恶的计划会得逞，而在于这些计划也会因为失去对智能系统的控制而失败，尤其是那些满怀邪恶目标并可以使用武器的计划。

这不是逃避管制的理由，毕竟我们有禁止谋杀的法律，尽管它们经常被绕开。然而，这确实造成了非常严重的治安问题。我们已经在与恶意软件和网络犯罪的斗争中失败了。（最近的一份报告估计，其受害者超过20亿人，每年造成的损失约6 000亿美元。^[4]）以高度智能程序的形式存在的恶意软件将更加难以战胜。

包括尼克·波斯特洛姆在内的一些人提出，我们要使用我们自己的、有益的超级人工智能系统来检测和摧毁任何怀有恶意或行为不端的人工智能系统。当然，我们应该使用可用的工具，同时尽量减少对个人自由的影响，但是人类蜷缩在掩体中，完全无力抵挡超级智能所释放出的巨大力量的情景很难让人安心，即便其中一些超级智能站在我们这一边。人们最好能找到方法，将恶意的人工智能扼杀在萌芽状态。

良好的开端是成功地、协调一致地开展打击网络犯罪的国际运动，包括扩展《布达佩斯网络犯罪公约》所涵盖的内容。这将形成一个组织模板，用于防止未来出现失控的人工智能程序。与此同时，这将产生一种广泛的文化理解：从长远来看，有意或无意地建立这样的程序是一种类似于创建流行病有机体的自杀行为。

衰弱与人类自主

E. M.福斯特（E. M. Forster）的两部最著名的小说《霍华德庄园》和《印度之行》展现了20世纪早期的英国社会及其阶级制度。1909年，他写了一本著名的科幻小说《大机器停止》。这个故事因其先见之明而引起了关注，书中描述了（我们现在的）互联网、视频会议、iPad（平板电脑）、大规模开放在线课程（MOOC）、普遍的肥胖，以及回避面对面接触。书名中的大机器是一个包罗万象的智能基础设施，可以满足所有人的需求。人类变得越来越依赖它，但对它的工作原理了解得越来越少。工程知识让位于仪式化的咒语，这些咒语最终无法阻止机器运转逐渐恶化的局面。主角库诺看到了正在发生的事情，却无力阻止：

你难道不明白……我们就要死了，在我们这里，唯一真正活着的是机器？我们创造了机器，让它按照我们的意旨办事，可是我们现在没法让它实现我们的意旨了。它夺走了我们的空间感和触觉，它模糊了一切人际关系，它使我们身体瘫痪、意志瘫痪……我们只是作为流经它动脉血管的血细胞而存在，如果它没有我们也能运转，它会让我们死的。唉，我没有补救办法——或者至少说，只有一种办法——一遍遍地告诉人们，我看见了威塞克斯的山峦，就像阿尔弗雷德^[5]推翻丹麦人的统治时所看见的一样。

地球上曾经生活过超过1 000亿人。他们（我们）已经花费了大约1万亿人年的时间学习和教学，才使我们的文明得以延续。到目前为止，文明延续的唯一可能就是在新一代的头脑中进行再创造。（纸作为一种传播方式是不错的，但记录在纸上的知识在传到下一个人的头脑里之前，纸什么也做不了。）现在这种情况正在改变：我们越来越有可能把我们的知识放到机器里，让机器自己来运行我们的文明。

把我们的文明传给下一代的实际动机一旦消失，这个过程就很难逆转了。从现实意义上讲，大约1万亿人年的累积学习将会丢失。我们将成为一艘由机器驾驶的游轮上的乘客，这艘游轮将会永远航行下去，正如电影《机器人总动员》所设想的那样。

一名优秀的结果主义者会说：“显然，这是过度使用自动化所产生的不良后果！设计合理的机器永远不会这样做！”不错，但是请想想这意味着什么。机器可以理解人类的自主性和能力，这是我们的生活偏好中一个重要的方面。机器很可能坚持认为，人类应该对自己的幸福保留控制权和责任，换言之，机器会说不。但我们这些目光短浅的、懒惰的人类可能不同意。这里会发生“公地悲剧”：对任何一个人而言，通过多年艰苦的学习来获得机器已经拥有的知识和技能似乎毫无意义，但如果每个人都这样想，那么人类将会集体失去自主性。

这个问题的解决方案似乎是文化上的，而不是技术上的。我们需要一场文化运动来重塑我们的理想以及对自主、能动性和能力的偏好，远离自我放纵和依赖。你如果喜欢，也可以称之为古代斯巴达尚武精神的现代文化版本。这意味着在全球范围内发展人类“偏好工程学”，同时我们的社会运作方式也将发生根本性的变化。为了避免让糟糕的情况恶化，无论是在解决方案的设计上，还是在为每个人寻求利益均衡的实际过程中，我们可能都需要超级智能机器的帮助。

任何一个当过父母的人都熟悉这个过程。一旦孩子走出了无助的阶段，育儿就需要在“为孩子包办每件事”和“完全让孩子自己做主”之间保持一种不断发展的平衡。在某个阶段，孩子开始明白，父母完全有能力给他系鞋带，却选择不系。这就是人类的未来吗，永远像孩子一样被超级机器对待？我想不是。孩子无法关掉父母的电源。（谢天谢地！）我们也不会成为宠物或动物园里的动物。在我们现在的世界里，真的没有什么能和“未来有益的智能机器与我们的关系”相提并论。结局如何，还有待观察。

[1] 关于辅助博弈在驾驶中的应用：Dorsa Sadigh et al., “Planning for cars that coordinate with people,” Autonomous Robots 42 (2018): 1405–26。

[2] 奇怪的是，苹果没有出现在这份名单中。苹果确实有一个人工智能研究小组，并且正在迅速发展。它的传统保密文化意味着，迄今为止它对思想市场的影响相当有限。

[3] Max Tegmark, interview, Do You Trust This Computer?, directed by Chris Paine,written by Mark Monroe (2018).

[4] 关于评估网络犯罪的影响：“Cybercrime cost \$600 billion and targets banksfirst,” Security Magazine, February 21, 2018。

[5] 阿尔弗雷德（849—899），威塞克斯国王，曾战胜入侵的丹麦人，结束了他们对英格兰的统治。——译者注

附录A寻找解决方案

通过前向搜索，通过考虑各种可能的动作序列的结果，来选择动作，是智能系统的基本能力。每当你向手机问路时，手机就会这么做。图14是一个典型的例子：从当前位置19号码头到达目的地柯伊特塔。算法需要知道它可以执行哪些动作，通常，对于地图导航，每个动作都要经过连接两个相邻十字路口的路段。在这个例子中，从19号码头出发，这里只有一个动作：沿着内河码头行驶到下一个交叉路口。然后会出现一个选择：要么继续往前走，要么向左转进入炮台街。该算法系统地探索所有这些可能性，直到最终找到一条路线。通常，我们会添加一点常识性的指导，比如：去探索接近目标而不是远离目标的街道。有了这个指导和其他一些技巧，该算法就可以快速找到最优解，通常只需要花几毫秒，即使是越野旅行也是如此。

在地图上搜索路线是一个我们熟悉的例子，但是因为标志性的地点数量太少，所以可能有些误导。例如，在美国，只有大约1 000万个十字路口。这看起来可能是一个很大的数字，但与“十五拼图”游戏中不同局面的数目相比还是很小。十五拼图是一种玩具，它有一个4×4的网格，还有编号为1\~15的15个拼块和一个空的托盘。玩家的目标是移动拼块以实现目标配置，例如将所有拼块按数字顺序排列。十五拼图有大约10万亿个状态（是美国的十字路口数量的100万倍），“二十四拼图”有大约 $\mathrm { 8 \times 1 0 ^ { 2 4 } }$ 个状态。这是数学家所说的组合复杂性的一个例子，即随着“可移动的部分”数量的增加，组合的数量激增。我们再回到美国地图上：如果一家卡车运输公司想要优化其100辆卡车在美国的运输，那么该公司可能需要考虑的状态数量将是 $1 0 ^ { 7 0 0 }$ 个。

放弃理性的决策

许多游戏都具有这种组合复杂性，包括国际象棋、跳棋、西洋双陆棋和围棋。因为围棋规则简洁明了，所以我用围棋作为一个实例（图15）。黑棋和白棋轮流在棋盘的任意空位上落子。此时轮到黑方走棋，黑方有343种可能的走法。双方都试图围住尽可能多的地盘。例如，白棋很有可能在左边和左下角赢得地盘，而黑棋可能在右上角和右下角赢得地盘。围棋的一个关键概念是“大龙”，即通过垂直或水平相邻关系相互连接起来的一组颜色相同的棋子。只要大龙的旁边至少有一个空位置，这块棋就仍然是“活”的。如果大龙被完全包围，周围没有空位置，它就会变成“死”棋并被从棋盘上拿掉。