生命3.0：人工智能时代，人类的进化与重生

当这种行为发展到一定程度时，某种特别的粒子组织方式获得了极好的自我复制能力，以至于它复制出来的个体能以几乎相同的方式从环境中汲取能量和原材料。我们就将这种粒子组织方式称为“生命”。虽然我们对地球生命的起源依然知之甚少，但我们知道，在40亿年前，原始生命就已经存在于地球上了。

如果一个生命复制出来的个体也能进行同样的自我复制，那总体数量就会以固定的周期翻倍，直到种群数量达到资源可供维持的极限，或者出现其他问题。不断翻倍很快就会产生巨大的数字：即使最初只有一个个体，经过300次翻倍，你也会得到比我们宇宙中的粒子总数还大的一个数字。这意味着，在原始生命出现后不久，大量的物质都会变成生命。有时候，复制的过程并不完美，因此很快就会出现各种不同的生命形式，它们都试图复制自己，彼此竞争着有限的资源。于是，达尔文式的进化就开始了。

假如你从生命的起源阶段就开始静静地观察地球，可能就会发现目标导向行为曾发生过一个巨大的转变。在早期，粒子无一例外都在想尽办法增加平均的混乱程度，但那些无处不在的新生命的自我复制模式却似乎拥有一个不同的目标：不是耗散，而是复制。查尔斯·达尔文对此有一个优雅的解释：复制的效率越高，你就越能战胜和统治其他生物，因此不久之后，你会发现，所有生命似乎都为“复制”这个目标而高度优化了。

既然物理定律并没有改变，那生命的目标为何从耗散变成了复制呢？答案是，最根本的目标其实并没有变化，依然是耗散，但它带来了一个不同的“手段目标”（instrumental goal），也就是为了实现最终目标而需要达成的子目标。举个例子——吃，我们似乎都拥有满足食欲的目标，但我们都知道，进化唯一的根本目标不是咀嚼食物，而是复制。这是因为进食有助于复制，因为如果饿死了，就失去了繁衍后代的机会。同样地，复制有助于实现耗散，因为一个充满生命的星球在能量耗散上会更高效。因此，从这个意义上说，我们的宇宙发明生命是为了更快地走向“热寂”。如果你把糖倒在厨房的地板上，从本质上说，它能维持自身的有用化学能长达好几年，但如果出现了蚂蚁，它们会很快将这些能量耗散出去。同样，如果我们这种双足类的生命形式不将地壳中的石油开采出来并燃烧掉，那这些石油也会在漫长的岁月里保存自己的有用化学能。

在今天的地球居民中，这些手段目标似乎拥有了自己的生命：虽然进化优化的根本目标是复制，但许多人却花了更多时间在其他与繁殖后代无关的事情上，比如睡觉、寻找食物、盖房子、维护统治地位、打架或者帮助他人，人们在这些事情上花的时间如此之多，有时候甚至因此而减少了复制。进化心理学、经济学和人工智能方面的研究对此做出了优雅的解释。一些经济学家曾经用“理性主体”（rational agents）来模拟人类的行为。理性主体是一种理想化的决策制定者，它们永远选择那些对实现它们的目标而言最优的行为。但这个假设显然是不现实的。在实践中，这些主体拥有一种被诺贝尔获奖者兼人工智能先驱赫伯特·西蒙称之为“有限理性”（bounded rationality）的特质。之所以会这样，是因为它们的资源是有限的，它们做决策的理性程度受限于它们可获得的信息、可供思考的时间以及它们用来思考的硬件。这意味着，尽管达尔文式的进化会促使生命选择最优的方法去实现它的目标，但是，它最好的选择其实是，执行一个在它身处的受限环境中表现足够好的近似算法。进化实现最优复制的方法是，与其在每种情况下都问一遍哪种行为可以产生尽可能多的后代，不如实施一种大杂烩式的探索方法，即选择那些通常可行的经验法则。对大多数动物来说，这就包括性冲动、渴了就喝水、饿了就吃东西以及远离那些难吃或者会造成疼痛的东西。

有时在一些意外情况下，这些经验法则可能会造成惨痛的失败，比如，老鼠吃下了尝起来很美味的鼠药，飞蛾被诱惑性的雌性香味吸引到了粘蝇板上，还有昆虫扑向蜡烛的火焰⁽⁶⁶⁾。由于今天的人类社会与进化优化我们的经验法则时的环境大相径庭，我们应该很容易想到，我们的行为常常无法将“生孩子”最大化。比如，“不被饿死”的子目标带来了对高热量食物的欲望，使得当今社会肥胖的人数激增，很难找到合适的约会对象。繁殖后代的子目标在执行时却变成了对性行为的欲望，而不是捐精或捐卵的欲望，但其实后者才能以最小的成本产生最多的后代。

对目标的追寻和反叛：心理学

总而言之，生物就是一个拥有有限理性的主体，它不止追求一个目标，而且还遵循着经验法则，趋利避害。我们人类将这些进化来的经验法则称为“感觉”，感觉常常在不知不觉中指导着我们的决策过程，以实现复制的最终目标。饥渴的感觉保护我们不被饿死和不出现脱水症状，痛感保护我们的身体不受伤害，性欲促使我们繁殖，爱和怜悯的感觉让我们帮助携带有我们基因的其他人以及那些帮助他们的人，诸如此类。在这些感觉的指引下，我们的大脑可以迅速且有效地决定下一步要做什么，而不用每次都对“能产生多少后代”做出冗长的分析。如果你想了解感觉及其生理基础，我强烈建议你读一读威廉·詹姆斯（William James）和安东尼奥·达马西奥⁽⁶⁷⁾（António Damásio）的著作^[2]。

我们要记住的是，当我们的感觉偶尔不利于“生孩子”时，并不是说发生了什么意外，也不是说我们被欺骗了，而是我们的大脑有时候会故意反叛基因及其繁殖目标，比如，选择避孕。“大脑反叛基因”还有一些更极端的例子，比如，选择自杀或者选择独身生活，成为神父、僧侣或修女。

为什么我们有时会选择反叛基因及其复制的目标呢？这是因为作为有限理性的主体，我们只忠于自己的感觉。虽然大脑进化的目的是帮助我们复制基因，但大脑其实根本不在乎这个目标，因为我们对基因没有任何感觉。事实上，在人类大部分历史中，我们的祖先根本不知道基因的存在。此外，我们的大脑比基因聪明多了，现在我们已经理解了基因的目标，即复制，不过，我们认为这个目标陈腐不堪，经常忽略它。人们理解基因为什么让他们产生性欲，但并不想养育15个小孩，于是他们绕过基因编好的程序，选择避孕，这样依然能获得基因对亲密关系的情感奖赏。他们也可能意识到了基因为什么令他们渴望甜食，但却不想增重，于是也绕过基因编好的程序，选择饮用含有人造甜味剂的零卡路里饮料，这样依然能获得食用甜食的情绪奖赏。

虽然这种绕过奖赏机制的行为有时会出岔子，比如海洛因上瘾，但从目前来看，人类基因池依然保存得十分完好，尽管我们的大脑十分狡猾，又喜欢反叛。不过，我们必须记住，如今掌权的并不是我们的基因，而是我们的感觉。这意味着人类的行为并不一定有利于种族延续。事实上，由于我们的感觉只遵循经验法则，而经验法则并不是事事都恰到好处，因此，严格地说，人类的行为没有一个定义明确的单一目标。

外包目标：工程

机器可以有目标吗？这个简单的问题引发了很大的争议，因为在不同人的眼中，“机器”代表的意义是不同的，常与一些棘手的问题联系起来，比如机器能否拥有意识以及它们是否有感觉等。但是，如果我们问一个更实际和简单的问题：机器是否能展现出目标导向行为？那答案就很明确，它们当然可以，因为我们就是这么设计的！我们设计捕鼠器，让它拥有捕捉老鼠的目标；我们设计洗碗机，让它拥有洗碗的目标；我们设计时钟，让它拥有报时的目标。实际上，当你面对一台机器时，你只需要关心它拥有什么目标导向行为：如果你被一枚热跟踪导弹追赶，就根本不会关心它是否有意识或者感觉。如果你对“导弹没有意识但有目标”这种说法感到很不舒服，可以暂时把我写的“目标”换

成“用途”，我们将在下一章探讨意识的问题。

目前，我们建造的大部分东西都只是以目标为导向进行的设计，而没有展现出目标导向的行为：一条高速公路能有什么行为呢？它只是静静地待在那里，一动不动。然而，它为什么存在呢？最经济的解释是，它是被人设计出来实现某个目标的，因此即便它一动不动，也让我们的宇宙具有了更强的目标导向性。“目的论”就是用目的而非原因来解释事物的一种方法。那么，我们可以总结说，本章前半部分的内容说明，我们的宇宙越来越符合目的论的解释。

从较弱的意义上说，非生命物质是可以拥有目标的。不仅如此，它的目标性正变得越来越强。如果你从地球形成之初就开始观察地球上的原子，可能会注意到目标导向行为的三个阶段：

◦ 第一阶段，所有物质似乎都在努力实现耗散的目标，即熵增；

◦ 第二阶段，其中一些物质拥有了生命，转而聚焦于子目标；

◦ 第三阶段，生物重新排列的物质越来越多，以实现自己的目标。

从表7-1中可以看出，从物理学的角度来看，人类在地球上已经具备了相当高的优势地位：人类身体的总质量已经超过了除牛以外的其他所有哺乳动物（牛的数量实在太多了，因为我们需要它们提供肉类和乳类产品），并且，我们的机器、道路、房子等工程的总质量也似乎很快就能赶上地球上所有生物的总质量了。换句话说，即使不发生智能爆炸，很快，地球上大部分展现出目标导向性质的物质都会是设计出来的，而不是进化出来的。

表7-1 为某个目标设计出来的物体质量

这种设计出来的“第三类”新型目标导向行为的物体可能比它的产生过程更加多姿多彩，所有进化而来的物体都有一个共同的目标，即复制，而设计出来的物体却可能拥有各种各样的目标，甚至拥有相反的目标。比如，烤箱的目标是加热食物，而冰箱的目标则是冷冻食物。发电机将动能转化为电流，而电动机将电流转化为动能。标准象棋程序想要赢得比赛，而还有一种程序参赛的目标是输掉象棋比赛。

设计产品还有一个历史趋势：它们的目标不仅变得越来越多样化，而且变得越来越复杂。我们的机器变得越来越聪明了。最早的机器和人造物的目标都很简单，比如，房子的目标是让人类保持温暖、干燥和安全。后来，我们逐渐学会了建造拥有目标更加复杂的机器，比如扫地机器人、自己飞行的火箭和无人驾驶汽车。近期的人工智能方面的进展还给我们带来了像深蓝计算机、沃森和AlphaGo这样的系统，它们的目标分别是赢得象棋比赛、猜谜游戏和围棋比赛。这些目标都十分复杂，人们费尽心思才理解了它们高超的技艺。

当我们建造机器来帮助我们时，可能很难保证它们的目标与我们的完全一致。譬如说，捕鼠器可能会错把你的脚趾头当成饥饿的老鼠，结果让你疼得龇牙咧嘴。所以，机器都是拥有有限理性的主体，即便是今天最复杂精巧的机器，对世界的理解程度也远远比不上我们人类。因此它们行事的规则通常过于简单。那只捕鼠器总是乱夹是因为它完全不知道什么是老鼠；同样地，许多致命工业事故之所以会发生，正是因为机器完全不知道什么是人，而2010年导致华尔街“闪电崩盘”事故、造成万亿美元损失的计算机也完全不知道它们的行为是胡作非为。如果机器变得更聪明，就能解决许多“目标一致性”问题，但是，正如我们从第4章的普罗米修斯故事中所看到的那样，日益聪明的机器智能也可能给我们带来新的挑战，因为我们必须保证它们与我们的目标一致。

友好的人工智能：目标一致

机器变得越智能和越强大，保证它们的目标与我们的相一致就越重要。如果我们建造的机器比较愚钝，那问题就不是“人类目标最后会不会胜出”，而是“在我们搞明白如何解决目标一致性的问题之前，这些机器会带来多少麻烦”。然而，如果我们建造的机器具备超级智能，那事情可能便正好相反：由于智能就是完成目标的能力，那么，在完成目标这点上，超级智能理所当然强于人类，因此它最终一定会胜利。我们在第4章中已经用普罗米修斯的例子讨论了许多这样的场景。如果你想体验一下与机器目标不一致的感觉，只要下载一个最先进的象棋程序，然后和它对弈，就能体会到了。你可能永远赢不了它，而它的技艺还会越来越精湛。

换句话说，通用人工智能带来的真正风险并不是它们的恶意，而是它们的能力。一个超级智能会非常善于完成它的目标，如果它的目标与我们的目标不一致，那我们就有麻烦了。正如我在第1章中所说，人们在建造水电站大坝时根本不会考虑会淹没多少蚁丘。因此，大多数研究者认为，如果我们最终造出了超级智能，那我们必须保证它们是友好的人工智能。“友好的人工智能”是人工智能安全性研究先驱埃利泽·尤德考斯基（Eliezer Yudkowsky）提出的一个概念，是指目标与我们相一致的人工智能^[3]。

想要让超级人工智能与我们的目标相一致很重要，也很困难。实际上，这目前还是个未解之谜。这个问题可以被划分成三个子问题，每一个都是计算机科学家和思想家正在研究的活跃课题：

◦ 让人工智能学习我们的目标；

◦ 让人工智能接受我们的目标；

◦ 让人工智能保持我们的目标。

我们先来依次探讨一下这三个问题，“我们的目标是什么意思”这个问题先推迟到下一节再探讨。

要学习我们的目标，人工智能需要搞明白的不是我们做了什么，而是我们为什么这么做。这对人类来说易如反掌，所以我们很容易忘记这件事对计算机来说有多困难，也常忘记这个问题很容易被计算机误解。如果在未来，你叫一辆无人驾驶汽车尽可能快地送你去机场，而它确实会不择手段地让你火速赶到了机场，那你可能会一路被直升飞机追赶，并且呕吐一地。如果你声称：“这不是我想要的。”那它可能会言之有理地回答：“可你就是这么说的呀！”很多家喻户晓的故事里也有类似的桥段。古希腊传说中的迈达斯国王请求让自己触摸的所有东西都变成金子，但这使得他没法吃东西，令他十分失望。后来，他不小心将自己的女儿也变成了金子。此外，许多故事中都会有一个精灵，它可以实现人们的三个愿望。关于前两个愿望，不同的故事有不同的版本，但第三个愿望通常都是一样的：“请收回前两个愿望，因为那不是我真正想要的东西。”

这些例子表明，想要知道人们真正想要什么，不能只听他们的一面之词，你还需要这个世界的详细模型，包括人们共有的许多偏好。这些偏好我们通常不会明说，因为我们认为它们是显而易见的，譬如说，我们不喜欢呕吐或吃金子。一旦有了世界的模型，我们就能通过观察人们的目标导向行为来搞明白他们想要什么，即便他们并没有明说。实际上，伪君子的孩子通常都是从父母的行为中学习的，而不是从他们的嘴里。

目前，人工智能研究者正在努力让机器从行为中推断目标，这在超级智能出现之前也非常有用。譬如说，如果一个照顾老年人的机器人能观察和总结出它所照顾的老年人的价值观，那这个老人可能会非常开心，因为这样他就不用费尽口舌向机器人解释一切，也不用对它进行重新编程。要实现这一点，其中的一个挑战是，找到一种将任意目标系统和伦理准则编入计算机的好方法。还有一个挑战是让计算机弄清楚哪个系统最符合它们观察到的行为。

对于第二个挑战，目前有一种流行的方法，用行话来说叫作“逆向增强学习”（Inverse Reinforcement Learning）。斯图尔特·罗素在加州大学伯克利分校新建立的研究中心就主要研究这个东西。比如，假设一个人工智能看见有一个消防员跑进了一栋熊熊燃烧的房子，救出了一名男婴。它可能会得出一个结论：消防员的目标是拯救男婴，他的伦理准则要求他将自己的生命看得比“舒服地躺在消防车里”更高，高到他宁愿承担失去安全的风险。但是，它也可能通过推断认为，这个消防员可能饥寒交迫，迫切想要获得热量，或者说，他这么做是为了锻炼身体。如果这个事件是这个人工智能所知的与消防员、火和男婴有关的唯一例子，那它就不可能知道哪种解读才是正确的。然而，逆向增强学习的一个关键思想就是，我们总是在做出决策，每个决策都揭示了一点点关于我们目标的信息。因此，逆向增强学习希望人工智能体通过观察许多人在许多场景中的行为，包括真实场景、电影和书籍，最终构建起关于人类偏好的精确模型^[4]。

即使我们建造了一个能学习人类目标的人工智能，但这并不意味着它一定会接受这些目标。想想你最讨厌的政客，你知道他们想要什么，但那不是你想要的，就算他们费尽心思，也无法说服你接受他们的目标。

人们为了让自己的孩子接受他们的目标，可谓无所不用其极。从我抚养两个男孩的经验中，我发现了一些比较成功的方法。如果你想要说服的对象不是人，而是计算机，那么，你就面临一个称为“价值装载问题”（value-loading problem）的挑战，这甚至比对孩子进行伦理教育还难上加难。

假设一个人工智能系统的智能逐渐从低于人类的水平发展到超人类的水平。在这个过程中，一开始，由人类对它进行敲敲打打、修修补补，后来，它通过普罗米修斯那样的自我迭代，迅速提升智能。一开始，它比你弱多了，所以它无法阻止你把它关掉，也无法阻止你将它的软件和在其数据中能对目标进行编码的那部分替换掉。不过，这无关紧要，因为你的目标需要人类水平的智能才能理解，而它还太愚笨，无法完全理解你的目标。后来，它变得比你聪明，能够完全理解你的目标，但这依然于事无补，因为到那时，它已经比你强太多，可能不会再让你轻易地把它关掉并替换它的目标，就像你不允许那些政客把你的目标替换成他们的目标一样。

换句话说，人工智能允许你装载目标的时间窗口可能非常短暂：就是在它愚钝得无法理解你，与它聪明到不让你得逞之间的短暂时期。给机器装载价值之所以比人难，是因为它们的智能增长比人类快多了。对孩子们来说，这个神奇的“说服窗口”可能会延续好几年，在这段时间里，他们的智力与父母相差无几；但对人工智能来说，比如普罗米修斯，这个窗口可能只有几天甚至几个小时。

一些研究者正在研究另一种让机器接受我们目标的方法。这种方法有一个时髦的专业名字叫作“可改正性”（corrigibility）。这个方法的希望是，你将一个目标系统赋予一个原始的人工智能，这个目标系统使得这个人工智能根本不关心你会不会偶尔把它关掉和改变它的目标。如果事实证明这是可行的，那你就可以很安心地让你的人工智能走向超级智能，也可以很安全地关掉它，装载入你的目标，试试怎么样；如果不喜欢，又可以再把它关掉，对目标进行修改。