人工智能时代：破解人机共存密码（套装共10册）

在那之后几个月，也就是2014年4月，我在冰岛参加一个会议，美国国家公共广播电台打来电话，问我是否可以接受他们的采访，谈谈刚刚在美国上映的电影《超验骇客》。虽然我已经看过了剧情概要和影评，但我还没有看过电影，因为我当时住在巴黎，电影要到6月才会在巴黎上映。然而碰巧的是，我在从冰岛回家的路上绕道去了波士顿，参加美国国防部的一个会议。所以，到达波士顿洛根机场后，我乘出租车去最近的电影院看了这部电影。我坐在第二排，看到约翰尼·德普饰演的加州大学伯克利分校人工智能教授遭到了对超级人工智能存有担忧的“反人工智能激进分子”的枪击。我不由自主地瘫倒在座位上。（又是巧合在警示我吗？）在这名教授死去之前，他的意识被上传到一台量子超级计算机上，这台计算机迅速超越了人类的能力，威胁要接管世界。

2014年4月19日，我和物理学家迈克斯·泰格马克（MaxTegmark）、弗兰克·威尔切克（Frank Wilczek）、史蒂芬·霍金（Stephen Hawking）合写的关于《超验骇客》的影评被发表在了《赫芬顿邮报》上。其中包括我在杜尔维奇绘画馆的演讲中谈到的人类历史上最重大的事件。从那时起，我便公开承认，我的研究领域对我自己所属的物种构成了潜在危险。

我们如何走到今天？

人工智能的起源可以追溯到很久以前，但它正式启动是在1956年。两位年轻的数学家约翰·麦卡锡（John McCarthy）和马文·明斯基（Marvin Minsky）说服了著名的信息论创始人克劳德·香农（Claude Shannon）和IBM（国际商业机器公司）第一台商用计算机的设计者纳撒尼尔·罗切斯特（Nathaniel Rochester）加入他们，一起在达特茅斯学院组织一个暑期项目。项目的目标如下：

这项研究基于一个猜想：“学习”的各个方面或“智能”的任何特征在原则上都可以被精确地描述出来，所以人们可以制造一台机器来模拟“学习”或“智能”。人们试图让机器使用语言，形成抽象概念，解决现在人类面临的各种问题，并让机器自我改进。我们认为，一个精英科学家小组如果共同努力一个夏天，就可以在其中的一个或多个问题上取得重大进展。

不用说，我们花费的时间已经远远超过了一个夏天，但我们仍在努力解决这些问题。

在达特茅斯会议后10年左右的时间里，人工智能取得了几项重大成功，包括艾伦·罗宾逊（Alan Robinson）的通用逻辑推理算法^[2]和阿瑟·塞缪尔（Arthur Samuel）的西洋跳棋程序，这个程序通过自学战胜了它的创造者。^[3] 第一次人工智能泡沫在20世纪60年代末破裂，当时，人们在机器学习和机器翻译方面的早期努力没能达到预期。英国政府在1973年委托撰写的一份报告中总结道：“到目前为止，该领域的任何发现都没有产生当初承诺的重大影响。”^[4]换言之，这些机器不够智能。

幸运的是，当时11岁的我并不知道这份报告。两年后，我得到了一台辛克莱剑桥可编程计算器，我想让它变得智能。然而，辛克莱的程序有36步运算限制，这对于人类级别的人工智能来说还不够大。我并没有泄气，而是使用伦敦帝国理工学院的CDC 6600超级计算机^[5]编写了一个国际象棋程序——一沓两英尺^[6]高的穿孔卡片。虽然这个程序不够好，但是没关系。我知道我想做什么。

到了20世纪80年代中期，我已经成为加州大学伯克利分校的一名教授，由于所谓的“专家系统”的商业潜力，人工智能正在经历一次巨大的复兴。当这些系统被证明无法完成人们指派给它们的许多任务时，第二次人工智能泡沫破裂了。同样，这些机器也不够智能。人工智能的寒冬随之而来。我在伯克利开设的人工智能课程目前有900多名学生，而在1990年，我只有25名学生。

人工智能界吸取了教训：显然，机器越智能越好，但我们必须做好功课才能做到这一点。这个领域与数学的关系变得尤为密切。人们将人工智能与历史悠久的概率论、统计学和控制理论建立了联系。今天，进步的种子是在那个人工智能的寒冬播下的，包括对大规模概率推理系统以及后来众所周知的深度学习的早期研究。

从2011年前后开始，深度学习技术开始在语音识别、基于机器视觉的物体识别和机器翻译方面取得巨大进步，以上是人工智能领域最重要的三个开放问题。从某些方面来看，机器在这些方面的能力已经达到甚至超过了人类的能力。2016年和2017年，DeepMind（英国人工智能公司）的AlphaGo（阿尔法围棋）击败了前世界围棋冠军李世石和后来的冠军柯洁，而此前一些专家预测，这种事情如果会发生，也要到2097年才会发生。^[7]

如今，人工智能几乎每天都会出现在媒体的头条报道中。在大量风险投资的推动下，成千上万家初创公司应运而生。数以百万计的学生参加在线人工智能和机器学习课程，该领域专家的年薪可达数百万美元。来自风险基金、国家政府和大公司的投资每年达到数百亿美元，该领域过去5年获得的资金超过了其在先前整个历史中所获得的总额。无人驾驶汽车和智能个人助理等已经在酝酿中的技术进步，很可能在未来10年左右对世界产生重大影响。人工智能潜在的经济效益和社会效益是巨大的，这为人工智能研究提供了巨大的动力。

接下来会发生什么？

这种快速的进步是否意味着我们即将被机器超越？不是。我们在拥有类似的具有超人类智能的机器之前，必须要实现几项突破。

众所周知，科学突破是很难预测的。为了了解到底有多难，我们可以回顾一下另一个领域的历史，这个领域具有终结文明的潜力，那就是核物理学。

20世纪初，也许没有哪位核物理学家比质子的发现者、“分裂原子的人”欧内斯特·卢瑟福［Ernest Rutherford，图2（a）］更为杰出。与他的同事一样，卢瑟福早就意识到原子核储存了巨大的能量，然而，主流观点认为开发这种能源是不可能的。

1933年9月11日，英国科学促进协会在莱斯特举办年会，卢瑟福在晚间会议上发言。正如他之前几次所做的那样，他向原子能的前景泼了冷水：“任何想从原子的转变中获取能源的人都是异想天开。”第二天早上，伦敦《泰晤士报》报道了卢瑟福的演讲［图2（b）］。

匈牙利物理学家利奥·西拉德［Leo Szilard，图2（c）］那时逃离了纳粹德国，住在伦敦罗素广场的帝国酒店。他早餐时阅读了《泰晤士报》的报道，随后出去散步，仔细思考着报道的内容，构想出了中子诱发的链式核反应。^[8]在不到24小时的时间里，释放核能的问题从不可能变成了已经基本解决。次年，西拉德申请了核反应堆的保密专利。1939年，法国颁发了第一项核武器专利。

TRANSFORMATION OF ELEMENTS

FROM OUR SPECIAL CORRESPONDENTS LEICESTER, SEPT. 11

What Lord Ruterord askd concuion, were th prospects 20 or 30 years ahead?

It ws a very oor and inefcient way of producing energy, and anyone who looked or a soure of power in te transfonmaon t lkng moine.

这个故事的寓意是，与人类的聪明才智打赌是鲁莽的，尤其是在我们的未来岌岌可危的时候。在人工智能界，一种否定主义正在出现，它甚至否定成功实现人工智能长期目标的可能性。这就像一名驾驶着载有全人类的公共汽车的司机说：“是的，我正尽我所能往悬崖边开，但是相信我，在开到悬崖边之前，我们的汽油会用完！”

我并不是说人工智能一定会成功，而且我认为人工智能在未来几年内成功的可能性不大。尽管如此，为可能发生的事情做好准备才是慎重之举。如果一切顺利，这将预示着人类进入黄金时代，但我们必须面对的事实是，我们正计划着制造出远比人类强大的实体。我们如何确保它们永远不会掌控我们？

为了对我们正在玩的火有一个初步的了解，请思考一下内容推荐算法在社交媒体中发挥的作用。虽然这些算法不是特别智能，但它们能够影响整个世界，因为它们直接影响数十亿人。通常，此类算法旨在最大限度地提高点击率，即用户点击展示条目的概率。那么，解决方案就是简单地展示用户喜欢点击的条目，对吗？不对。正确的解决方案是改变用户的偏好，从而使他们变得更可预测。对于更可预测的用户，算法可以通过推送他们更可能会点击的条目，而带来更多收入。持有极端政治观点的人往往更容易被预测出会点击哪些条目。（顽固的中间派可能会点击某一类文章，但算法很难想象这类文章由什么内容组成。）与所有理性实体一样，算法会学习如何修改它的环境状态（在这个例子中是用户的思想），从而使自身获得的奖励最大化。^[9]其后果包括法西斯主义复活，支撑世界民主的社会契约被解除，这甚至可能导致欧盟和北约的终结。区区几行代码在得到了人类的帮助后，就可以导致上述后果。现在想象一下，一个真正智能的算法能做什么？

出了什么问题？

人工智能的历史一直被一句咒语所推动：“越智能越好。”我确信这是一个错误，不是因为我隐隐地害怕被人工智能取代，而是因为我们理解智能的方式有误。

智能的概念对于“我们是谁”至关重要，这就是为什么我们称自己为“智人”或“智者”。经过两千多年的自我审视，我们对智能的描述可以归结为：

人类是智能的，因为我们的行动有望实现我们的目标。

智能的其他所有特征，例如感知、思考、学习、创造等，都可以通过它们对我们成功行动的能力的贡献来理解。从人工智能诞生之初，机器智能的定义就与之对应：

机器是智能的，因为它们的行动有望实现它们的目标。

机器与人类不同，它们没有自己的目标，因此我们赋予它们目标，让它们去实现。换言之，我们制造能够自我优化的机器，把目标输入机器中，然后它们就开始运行了。

这种通用方法并不是人工智能独有的，该方法在我们社会的技术和数学基础中反复出现。在设计了从大型喷气机到胰岛素泵等各种控制系统的控制理论领域，系统的任务是使代价函数最小化（代价函数通常被用来衡量实际行为与期望行为的偏差）。在经济学领域，机制和政策旨在使个人的效用（utility）、群体的福利和公司的利润最大化。^[10]在解决复杂的物流和制造问题的运筹学中，解决方案使预期回报的总和随着时间的推移最大化。最后，在统计学中，学习算法（learning algorithm）旨在使期望损失函数最小化（损失函数定义了产生预测错误要承担的成本）。

显然，这个通用方案（我将其称为标准模型，standard model）用途广泛且极其强大。不幸的是，我们不希望机器智能也表现在这个方面。

1960年，麻省理工学院的传奇教授、20世纪中叶最杰出的数学家之一诺伯特·维纳（Norbert Wiener）指出了标准模型的缺陷。维纳看到阿瑟·塞缪尔的西洋跳棋程序学会了下跳棋，而且其水平远远超过了它的创造者。这段经历让他写出了一篇颇有先见之明但鲜为人知的论文——《自动化的一些道德和技术后果》。^[11]以下是维纳的主要观点：

如果我们为了达到目的而使用一种我们无法有效干预其运行的机器……我们最好确信我们想让机器达成的目标是我们真正想要实现的目标。

“想让机器达成的目标”正是机器在标准模型中优化的目标。如果我们把错误的目标输入比我们更智能的机器里，机器就会实现目标，但我们也就失败了。我先前描述的社交媒体崩溃就是这种情况的前兆，它是在全球范围内用相当不智能的算法优化错误的目标所致的。在第5章中，我会详细说明一些更糟糕的结果。

所有这些都不足为奇。几千年来，我们一直都知道得到想要的东西有多危险。在所有的故事里，当一个人被赐予三个愿望时，他的第三个愿望总是会把前两个愿望推翻。

总而言之，迈向超人类智能的步伐似乎是不会停止的，但超人类智能的成功可能意味着人类的毁灭。然而，并非一切都失去了意义。我们必须了解是哪里出了问题，然后加以解决。

我们能解决吗？

问题就出在人工智能的基本定义中。我们说，机器是智能的，因为它们的行动有望实现它们的目标，但我们没有可靠的方法来确保它们的目标与我们的目标相同。

如果我们坚持让机器追求我们的目标，而不是让机器追求它们的目标，那么会如何？如果这样的机器能被设计出来，那么它们就不仅是智能的，而且是对人类有益的。因此，让我们试试这个：

机器是有益的，因为它们的行动有望实现我们的目标。

这可能才是我们一直以来应该做的。

当然，困难之处在于，我们的目标在我们自己心中（在全体80亿人和我们多样的社会群体之中），而不在机器中。尽管如此，我们还是有可能制造出在这个意义上有益的机器。不可避免的是，这些机器将会对我们的目标感到不确定，毕竟我们自己也不确定，但事实证明，这是一个特性，而不是漏洞（也就是说，是好事而不是坏事）。目标的不确定性意味着机器必须要顺从人类：它们会请求许可，会接受纠正，会允许自己被关闭。

撤销“机器应该有明确目标”这个假设，意味着我们需要打破并替换人工智能的部分基础，而这些基础其实是我们正在努力构建的东西的基本定义。这也意味着要重建大量的上层建筑，即为实际的人工智能工作积累思想和方法。其结果将是人类和机器之间生成新关系，我希望这种关系将使我们能够在未来几十年顺利前行。

[1] 我与现任谷歌研究总监彼得·诺维格合著的人工智能教科书的第一版：StuartRussell and Peter Norvig, Artificial Intelligence: A Modern Approach, 1sted.(Prentice Hall, 1995)。

[2] 罗宾逊开发了解决算法，如果给定足够的时间，它可以证明一组一阶逻辑断言的任何逻辑结论。与以前的算法不同，它不需要转换成命题逻辑。J. Alan Robinson, “Amachine-oriented logic based on the resolution principle,” Journal of theACM 12 (1965): 23–41.

[3] 计算机时代的美国先驱阿瑟·塞缪尔在IBM完成了他的早期工作。尽管艾伦·图灵早在1947年就谈到了“一种可以从经验中学习的机器”，但描述塞缪尔在跳棋方面的工作的论文第一次使用了“机器学习”这个词。Arthur Samuel, “Some studies in machinelearning using the game of checkers,” IBM Journal of Research andDevelopment 3 (1959): 210–29.

[4] 赫赫有名的《莱特希尔报告》（Lighthill Report）导致除爱丁堡大学和萨塞克斯大 学 之 外 的 人 工 智 能 研 究 经 费 被 终 止 ： Michael James Lighthill, “Artificialintelligence: A general survey,” in Artificial Intelligence: A PaperSymposium(Science Research Council of Great Britain, 1973)。

[5] CDC 6600占据了整个房间，花费相当于2 000万美元。如今一部苹果手机的功能也要比它强100万倍，但是在那个时代，它仍然强大得令人难以置信。

[6] 1英尺=0.3048米。——编者注

[7] “深蓝”战胜卡斯帕罗夫之后，至少有一位评论员预测，同样的事情要过100年才会 在 围 棋 界 发 生 ： George Johnson, “To test a powerful computer, play anancient game,” The New York Times, July 29, 1997。