AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...

维纳的评论捕捉到了人工智能中所谓的价值一致性问题：人工智能程序员面临的挑战是，如何确保人工智能系统的价值观与人类保持一致_。可是，人类的价值观又是什么？假设存在社会共享的普世价值有任何意义吗？

欢迎来到道德哲学的101课 ⁽²⁶⁾ ，我们将从每个道德哲学系学生最喜欢的思想实验——电车难题开始。假设你正在沿着一组轨道驾驶一辆加速行驶的有轨电车，就在正前方，你看到有5名工人站在轨道中间，你踩刹车却发现它们不起作用。幸运的是，有一条通向右边的轨道支线，你可以把电车开到支线上，以免撞到那5名工人，但不幸的是，在支线轨道中间也站着1名工人。这时候，你面临一个两难的选择：如果你什么都不做，电车就会直接撞到5名工人身上；如果你把电车开向右边，电车就会撞死1名工人。从道德上讲，你应该怎么做？

电车难题一直是20世纪大学道德课的一节主要内容。多数人认为，从道德上来说更可取的做法是：司机把电车开到支线上，杀死1名工人，救下另外5名工人。后来，哲学家们发现：对本质上相同的困境选取一个不同的框架，就会导致人们给出相反的答案 ¹⁹ 。事实证明，人类在关于道德困境的推理中，对困境的呈现方式是非常敏感的。

最近，电车难题又作为媒体对自动驾驶汽车的报道的一部分而出现了 ²⁰ 。如何对一辆自动驾驶汽车进行编程使其能够处理这些问题，已经成为人工智能伦理讨论的一个中心议题。许多人工智能伦理思想家指出：电车问题本身，即驾驶员只有两个可怕的选择，是一个高度人为设计的场景，而在现实世界中，驾驶员永远不会遇到这样的场景；但是，电车问题已经成为我们应该如何为自动驾驶汽车编程，以让它们自己做出符合道德的决策这一问题的象征。

2016年，3位研究人员在数百人中进行了调研，给定类似电车问题的自动驾驶汽车可能面临的场景，并询问他们对不同行为的道德观念。最终，76%的参与者回答，自动驾驶汽车牺牲1名乘客比杀死10名行人，从道德上来说更可取。可是，当被问及是否会购买这样一辆被编程为会为了救下更多行人而选择牺牲其乘客的汽车时，绝大多数参与调查者的回答是否定的 ²¹ 。研究人员称：“我们发现在6项亚马逊土耳其机器人参与的研究中，参与者认同这种效益主义的自动驾驶汽车，即牺牲乘客以获取更大利益的自动驾驶汽车，并希望其他人会购买它们，但他们自己更愿意乘坐那些不惜一切代价保护乘客的自动驾驶汽车。”心理学家乔书亚·格林（Joshua Greene）在他对这项研究的评论中指出：“在将我们的价值观置入机器之前，我们必须弄清楚如何让我们的价值观清晰且一致。” ²² 这似乎比我们想象的要更难。

一些人工智能伦理研究人员建议我们放弃直接对机器的道德规则进行编程的尝试，让机器通过观察人类的行为自行学习符合道德的价值观 ²³ ；然而，这种自学方法也存在我在上一章中所介绍的机器学习会面临的所有问题。

在我看来，在赋予计算机“道德智能”方面的进展不能与其他类型智能的进展分开，真正的挑战是创造出能够真正理解它们所面临的场景的机器。正如阿西莫夫的故事所阐明的：除非机器人能够理解不同场景下伤害的内涵，否则它无法可靠地执行避免伤害人类的命令。对道德进行推理要求人们认识到原因和结果的关系，想象可能的不同未来，了解其他人的信念和目标，并预测一个人处在各种情况下会采取的各种行动的可能结果。换句话说，可信任的道德理性的一个先决条件是通用的常识，而这，正如我们所见，即使在当今最好的人工智能系统中也是缺失的

到目前为止，我们已经看到，在庞大的数据集上训练的DNN如何在特定任务上与人类的视觉能力相媲美；我们也看到了这些网络的一些弱点，包括它们对大量人类标记数据的依赖，以及它们以非人类的方式失败的倾向。我们如何才能创造出一个真正能靠自己进行学习的人工智能系统——一个更值得信赖的系统，一个和人类一样，可以对其所面临的情况进行推理并对未来进行规划的系统？在本书的下一部分中，我将描述人工智能研究人员如何将象棋、围棋乃至雅达利（Atari）的电子游戏等用作“微观世界”，以开发具有更接近人类水平的学习和推理能力的机器，同时我将介绍如何把由此产生的超人的游戏机的技能转移到现实世界当中。

本章要点

07 ^“新机器人三定律^”

1_．有用的人工智能

在考虑人工智能在我们社会中的作用时，我们很容易把注意力集中在不利的一面，但是，有必要记住，人工智能系统已经为社会带来了巨大好处，并且它们有潜力发挥更大的作用。

2_．可解释的人工智能

在人工智能“自动决策制定”的情况下，任何一个影响公民的决策都需要提供其中所涉及的与逻辑有关的有意义信息，并且这些信息需要使用清晰明了的语言，以简洁、透明、易懂和易于访问的形式来沟通和传达，这打开了有关解释问题的闸门。

3_．可信的人工智能

在赋予计算机“道德智能”方面的进展不能与其他类型智能的进展分开，真正的挑战是创造出能够真正理解它们所面临的场景的机器。换句话说，可信任的道德理性的一个先决条件是通用的常识，而这，正如我们所见，即使在当今最好的人工智能系统中也是缺失的。

第三部分

游戏与推理_：开发具有更接近人类水

平的学习和推理能力的机器

始于游戏_，不止于游戏

对大多数人工智能研究人员来说，开发超人类的游戏程序并不是人工智能的最终目的。我们应该思考的是：这些程序的成功对人工智能更长远的发展有什么启示？这种人工智能究竟有多通用？它们如何适用于现实世界？这些系统在多大程度上是真正在“靠自己”学习的？并且，它们究竟学到了什么？

AlphaGo所有的版本除了下围棋，其他什么也不会，即便是其最通用的版本AlphaGo Zero也一样。目前，这些游戏程序中没有一个能够将其在一款游戏中学到的知识迁移到其他游戏中，来帮助其学习不同的游戏。

利用游戏，研究者能够在计算机上进行非常快速和准确的模拟，在模拟环境中不用去移动一颗真正的棋子或击碎一块真的砖块，但是模拟一个洗碗机装载机器人却非常不容易。模拟越逼真，在计算机上运行的速度就越慢，并且即便使用一台速度非常快的计算机，要把所有的物理作用力和装载碗碟的各方面相关参数都精确地置入模拟中也极其困难。然后还有现实世界中所有不可预测的情况，我们如何弄清楚哪些需要包含在模拟中，哪些又可以被适当地忽略掉呢？

强化学习，最重要的是学会给机器人奖励

记者埃米·萨瑟兰（Amy Sutherland）在研究一本有关珍奇动物驯兽师的书后，她了解到，驯兽师最重要的驯兽方法其实非常简单：奖励其正确的行为，忽略其不正确的行为。并且，就像她在《纽约时报》的“现代爱情”专栏上写的那样：“最终这使我想到，这一相同的技巧在倔强而可爱的‘物种’——丈夫身上可能也会起作用。”萨瑟兰描写了在经过多年徒劳的唠叨、讽刺和抱怨之后，她如何用这个简单的方法来悄悄地训练她那健忘的丈夫去收拾自己的袜子、找到车钥匙、准时到餐厅赴约以及更有规律地刮胡子 ¹ 。

这种经典的训练技巧，在心理学上被称为操作性条件反射，已经在动物和人类身上应用了数个世纪。操作性条件反射使得一种重要的机器学习方法——强化学习得以出现。强化学习与我在前面章节中描述的监督学习方法形成了鲜明的对比：在其最纯粹的形式下，强化学习不需要任何被标记的训练样本_。代替它的是一个智能体，即学习程序，在一种特定环境（通常是计算机仿真环境）中执行一些动作，并偶尔从环境中获得奖励，这些间歇出现的奖励是智能体从学习中获得的唯一反馈_。 在萨瑟兰的丈夫这个例子中，丈夫获得的奖励是妻子的微笑、亲吻和赞美。尽管计算机程序可能不会对一个吻或一句热情的“你是最棒的”做出反应，但是它可以被设置为能够对与这种赞美等价的奖励做出响应，比如向机器的内存中添加正数。

08

尽管数十年来强化学习一直是人工智能的学习方法之一，但长期以来它一直被笼罩在神经网络和其他监督学习方法的阴影中。这种情况在2016年发生了逆转，当时，强化学习在人工智能领域的一项举世震惊的重大成就中发挥了关键性作用：一个程序在复杂的围棋游戏中击败了世界上顶级的人类棋手。为了解释这个程序以及强化学习领域的一些其他最新成就，我将首先通过一个简单的例子来带你理解强化学习的工作原理。

训练你的机器狗

作为示例，我们一起来看下“机器人踢足球”这个有趣的游戏，在这个游戏中，人们会通过编程使机器人在一个房间大小的“场地”上玩一个简化版的足球游戏。有时“玩家”是如图8-1所示的那种可爱的Aibo机器狗，这个由索尼公司制造的Aibo机器狗有一个用来捕捉视觉输入的摄像头，一台内置的可编程计算机，以及一组使它能够行走、踢腿、用头撞击，甚至摇摆它的塑料尾巴的传感器和电机。

假设我们想要教一只机器狗最简单的足球技巧：当面对球时，走过去，踢一脚。传统的人工智能方法将会使用如下的规则来对机器人编程：朝着球迈出一步；重复这个动作，直到你的一只脚碰到球为止；然后用碰到球的那只脚踢球。当然，“朝着球迈出一步”“直到你的一只脚碰到球为止”“踢球”这类的简短描述，必须被仔细地翻译为详细的操作程序，并内置到机器狗的传感器和电机中。

这样的显式规则对于上述这种简单的任务可能就足够了，然而，你越是想让机器人变得智能，手动设定它的行为规则就会越困难。当然，设计出一套适用于任何情境的规则是不可能的。如果机器人和球之间有一个大水坑怎么办？如果有一个足球标志锥挡住了机器人的视线怎么办？如果有块石头阻挡了球的移动怎么办？像往常一样，现实世界充斥着难以预测的边缘情况。

强化学习的愿景是：智能体（如机器狗）能够通过在现实世界中执行一些动作并偶尔获得奖励（即强化）的方式来自主地学习灵活的策略，而无须人类手动编写规则或直接“教育”智能体如何应对各种可能的情况。

我们就称这只机器狗为“罗茜”吧，以我最喜欢的、经典的卡通片《杰森一家》（The Jetsons ）中的机器人管家的名字来命名。为了让这个例子更容易理解，我们假设罗茜出厂的时候预装了以下功能：如果一个足球在它的视线内，它能够估计出接触到球所需的步数，这个步数被称作它的状态。一般来说，智能体在一个给定时间和地点上的状态是智能体对其所处情境的感知。罗茜是智能体的一个最简单版本，其状态是一个单一的数字。当我说罗茜处于一个给定的状态x 时，指的是它目前估计自己距离球有x 步远。

除了能够识别自己的状态外，罗茜还要有它可以执行的三个内置的动作：前进一步、后退一步、踢一脚。如果罗茜碰巧走出了边界，程序设定为令它立即往后退一步。根据操作性条件反射的要求，只有当罗茜成功踢到球时我们才给它一个奖励。需要注意的是，罗茜事先并不知道哪些状态或行为会带来奖励。

考虑到罗茜是一个机器人，因而我们给它的奖励只是一个简单的数字，比如说10，并添加到它的“奖励内存”中。我们把奖励给机器人的数字10等同于给狗喂的食物。与真正的狗不同，罗茜对于奖励、正数或其他任何事物都没有内在的渴求。正如我接下来将要详细论述的，在强化学习中，一个人工创建的算法将指导罗茜的学习过程以帮助它获得奖励，即算法会告诉罗茜如何从它的经验中进行学习。