人工智能时代：破解人机共存密码（套装共10册）

这个论点有两点是站不住脚的。第一，这是稻草人谬误，即在论辩中有意或无意地曲解对方的论点以便能够更容易地攻击对方。人工智能令人担忧并不是因为迫在眉睫。尼克·波斯特洛姆在《超级智能》一书中写道：“这本书中并没有说我们即将迎来人工智能领域的重大突破，也没有说我们可以准确预测这种发展何时会出现。”第二，长期风险仍然可能引起人们立即的关注。对人类来说，担心一个潜在的严重问题的恰当时间，不仅取决于问题何时出现，还取决于准备和实施解决方案需要多长时间。

例如，如果我们探测到一颗大型小行星将在2069年与地球相撞，我们会说现在担心还为时过早吗？恰恰相反！人类将会启动一个全球性的紧急项目来开发对抗威胁的手段。我们不会等到2068年才开始研究解决方案，因为我们无法提前说出需要多少时间。事实上，美国宇航局的行星防御计划已经在研究可能的解决方案了，尽管“在未来100年里，没有任何已知的小行星会对地球造成重大影响”。如果这让你沾沾自喜，那么他们还说，“大约74%的直径大于460英尺的近地天体仍有待发现”。

如果我们知道气候变化将会带来全球性灾难的风险（预计将在21世纪晚些时候发生），那么现在采取行动预防灾难是否为时过早？相反，可能为时已晚。超人类人工智能的相关时间尺度很难预测，但当然，这意味着它可能会像核裂变一样，来的比预期早得多。

对于“现在担心还为时过早”这一观点，一个广为流行的表述是吴恩达（Andrew Ng）的主张：“这就像担心火星上的人口过剩一样。”^[11] （他后来将这一说法从火星升级到了半人马座阿尔法星。）吴恩达曾是斯坦福大学的教授，是机器学习领域的权威专家，他的观点颇有分量。这一主张可以解读为一个类比：风险不仅很容易控制，而且会发生在遥远的未来，更何况我们甚至不太可能从一开始就试图把数十亿人转移到火星上。然而，这个类比是错误的。我们已经投入了大量的科技资源来创造更强大的人工智能系统，却很少考虑如果我们成功了会发生什么。因此，更恰当的类比是：我们制订了一项计划，将人类迁移到火星，而不考虑我们到达火星后如何呼吸、吃什么、喝什么。有些人可能会认为这个计划是不明智的。或者，你可以从字面上理解吴恩达的观点，并回应说，即使只有一个人登上火星也会造成人口过剩，因为火星的承载能力为零。因此，目前计划将少数人送上火星的团体确实担心火星上出现人口过剩，这就是为什么他们正在开发生命维持系统。

我们是专家

在每一次关于技术风险的讨论中，支持技术的阵营都宣称，所有对风险的担忧都源于无知。例如，艾伦人工智能研究所的CEO、机器学习和自然语言理解领域的著名研究者奥伦·埃齐奥尼（OrenEtzioni）说：^[12]

每一项技术创新的兴起都让人们感到恐惧。从工业时代初期的织布工把鞋子扔进机械织布机，到今天对杀手机器人的恐惧，我们的反应是不知道新技术会对我们的自我意识和生计产生什么影响。而当我们一无所知的时候，我们恐惧的头脑会填充细节。

《大众科学》杂志发表了一篇题为《比尔·盖茨害怕人工智能，但人工智能研究人员了然于胸》的文章：^[13]

当你同人工智能研究人员交谈时——再次强调，是真正的人工智能研究人员，即那些努力让系统正常运行的人（系统的运行远非完美），你会发现他们并不担心超级智能现在或将来会悄悄接近他们。与马斯克似乎有意讲述的恐怖故事相反，人工智能研究人员并没有疯狂地安装防火墙召唤室和设立自毁倒计时。

这一分析是基于四个人的样本，他们都在采访中表示，人工智能的长期安全性是一个重要问题。

当时担任IBM副总裁的戴维·肯尼（David Kenny）使用与《大众科学》的那篇文章非常相似的语言，给美国国会写了一封信，信中包含了以下宽慰人心的话：^[14]

当你真正研究机器智能的科学，并把它实际应用于商业和社会的现实世界时——就像我们在IBM创建我们开创性的认知计算系统沃森时所做的那样，你就会明白，这项技术并不支持当今人工智能辩论中常见的散布恐慌的论断。

这三个例子传达的信息都是一样的：“别听他们的，我们是专家。”现在，人们可以指出，这实际上是一种人身攻击的谬误，即试图通过否认发言者的合法性来反驳这一信息，但即使从表面上看，这个论点也站不住脚。埃隆·马斯克、史蒂芬·霍金和比尔·盖茨当然对科学和技术推理非常熟悉，尤其是马斯克和盖茨，他们监督并投资了许多人工智能研究项目。如果你认为艾伦·图灵、I. J.古德、诺伯特·维纳和马文·明斯基没有资格讨论人工智能，那就更没有道理了。最后，前面提到的斯科特·亚历山大那篇名为《人工智能研究人员对人工智能风险的研究》的博客文章指出：“人工智能研究人员，包括该领域的一些领导者，从一开始就在提出有关人工智能的风险和超级智能的问题方面发挥了重要作用。”他列举了几位这样的研究人员，现在这份名单要长得多。

“人工智能拥护者”的另一个标准修辞手法将他们的对手描述为卢德分子。奥伦·埃齐奥尼提到的“织布工把鞋子扔进机械织布机”

就是这样：卢德分子是19世纪初的手工织布工，他们抗议引进机器来代替他们的熟练劳动力。2015年，信息技术与创新基金会将年度卢德分子奖颁给了“鼓吹人工智能末日的危言耸听者”。对这群“卢德分子”的定义很奇怪，名单中图灵、维纳、明斯基、马斯克和盖茨都榜上有名，而他们都是20世纪和21世纪最杰出的技术进步贡献者。

对卢德主义的指控代表了人们对“所提出的问题的性质”和“提出这些问题的目的”的误解。这就好比一个人因为核工程师指出控制裂变反应的必要性，就指责他们是卢德分子。就“人工智能研究人员突然声称人工智能不可能实现”这种奇怪的现象来说，我认为我们可以将这一令人困惑的插曲归因于捍卫技术进步的部落主义。

转移话题

一些评论家虽然愿意接受风险是真实存在的，但他们仍然提出不采取任何行动的论点。这些论点包括做任何事情都不可能成功，彻底做别的事情的重要性，以及对风险保持沉默的必要性。

你无法控制研究

对于高级人工智能可能给人类带来风险的说法，一个常见的回答是，禁止人工智能研究是不可能的。请注意这里存在思维跳跃：“哦？有人在讨论风险！他们一定是在提议禁止我的研究！”在讨论仅基于大猩猩问题的风险时，这种思维上的跳跃可能是合适的，通过阻止超级人工智能的创造来解决大猩猩问题，需要对人工智能研究施加某种限制，我倾向于同意。

然而，最近关于风险的讨论并没有集中在一般的大猩猩问题上（从新闻的角度来说，就是人类与超级智能的对抗），而是集中在迈达斯国王问题以及类似的问题上。解决迈达斯国王问题的同时也能解决大猩猩问题，但解决方案不是阻止超级人工智能或找到战胜它的方法，而是确保它从一开始就不与人类发生冲突。人们在对迈达斯国王问题进行讨论时，通常不会提议限制人工智能研究，他们只是建议注意防止设计不良系统所带来的后果。同样，人们对核电站的安全壳失效风险的讨论不应被解释为人们试图禁止核物理研究，而应被解释为一种建议，即把更多的工作放在解决安全壳问题上。

碰巧的是，终止研究有一个非常有趣的历史先例。20世纪70年代初，生物学家开始担心新的重组DNA技术——将一个有机体的基因连接到另一个有机体上，可能会给人类健康和全球生态系统带来巨大的风险。1973年和1975年在加利福尼亚州的阿西洛马举行的两次会议首次让这类实验暂停了下来，然后人们制定了针对一切相关实验风险的详细生物安全指导方针。^[15]有些种类的实验，如涉及毒素基因的实验，被认为太危险而被禁止。

1975年会议一结束，几乎资助了美国所有基础医学研究的美国国家卫生研究院（NIH）就开始着手建立“DNA重组咨询委员会”（RAC）。众所周知，后者在前者制定指导方针的过程中起到了重要作用，该方针基本上采纳了在阿西洛马的两次会议的建议。自2000年以来，这些指导方针包括禁止资助任何涉及改变人类种系的方案，即以可被后代继承的方式修改人类基因组。这项禁令出台之后，50多个国家相继颁布了法律禁令。

“改善人类种群”的目标一直是19世纪末、20世纪初优生运动的梦想之一。CRISPR-Cas9是一种非常精确的基因组编辑方法，它的发展重燃了这个梦想。2015年举行的一次国际峰会为未来的申请敞开了大门，会议呼吁各国在“就申请的适当性达成广泛的社会共识”之前保持克制。^[16] 2018年11月，贺建奎宣布，一对基因编辑婴儿诞生。随后，国际上一片哗然。2019年3月，一个由顶尖科学家组成的国际小组明确呼吁正式暂停基因组编辑。^[17]

这场辩论给人工智能领域上了复杂的一课。一方面，这表明我们有能力选择不去开拓一个有巨大潜力的研究领域。迄今为止，反对改变人类种系的国际共识占压倒性优势。人们担心禁令只会让研究转入地下，或进入没有监管的国家，但这种担心没能成为现实。另一方面，种系改变是一个很容易识别的过程，是一个关于更通用的遗传学知识的特定用例，需要专门的设备和真人进行试验。此外，它属于一个已经受到密切监督和监管的领域——生殖医学。这些特征不适用于通用人工智能，而且到目前为止，还没有人提出以任何合理的形式来限制人工智能研究。

诡辩主义

一位英国政治家的顾问向我介绍了“诡辩主义”这个词，他必须定期在公开会议上处理这个问题。无论他演讲的主题是什么，总会有人问：“巴勒斯坦人的困境怎么办？”

在谈到高级人工智能的风险时，人们可能会听到：“人工智能所带来的好处怎么办？”举例来说，奥伦·埃齐奥尼认为：^[18]

悲观的预测往往没有考虑人工智能在防止医疗失误、减少车祸等方面的潜在好处。

以下是脸书CEO马克·扎克伯格最近在与埃隆·马斯克进行媒体对话时所说的：^[19]

如果你反对人工智能，那么你就是在反对制造不会发生事故的、更安全的汽车，反对为病人提供更好的诊断。

撇开一切只要提到风险就是“反对人工智能”的部落观念不谈，扎克伯格和埃齐奥尼都认为，谈论风险就是忽视甚至否定人工智能的潜在好处。

这恰恰是一种倒退，原因有二。首先，如果人工智能没有潜在的好处，那么人工智能研究就不会有任何经济或社会动力，因此也就不会有出现达到人类水平的人工智能的危险。我们根本就不会进行这样的讨论。其次，如果不能成功降低风险，人们就不会得到任何好处。1979年美国三里岛核电站部分堆芯熔毁、1986年切尔诺贝利核电站失控的反应和灾难性的泄漏，以及2011年福岛核电站的多次熔毁，大大降低了核能的潜在效益。这些灾难严重限制了核工业的发展。意大利在1990年放弃了核能，比利时、德国、西班牙和瑞士也宣布了类似的计划。自1990年以来，全球核电站的设备利用率大约是切尔诺贝利事故之前的10%。

沉默

最极端的转移话题的形式就是，建议我们对风险保持沉默。例如，前面提到的AI100报告包括以下警告：

如果社会主要以恐惧和怀疑的态度对待这些技术，就会延缓人工智能的发展或让其转入地下，从而对确保人工智能技术的安全性和可靠性方面的重要工作造成阻碍。

信息技术与创新基金会（颁发卢德分子奖的那个基金会）的主任罗伯特·阿特金森（Robert Atkinson）在2015年的一场辩论中提出了类似的观点。^[20]尽管在如何向媒体准确地描述风险方面存在一些疑问，但其观点的总体信息很明确：“不要提及风险，这不利于融资。”当然，如果没有人意识到风险，用于缓解风险的研究就不会获得资金，也没有人有理由去研究它。

著名认知科学家史蒂芬·平克（Steven Pinker）对阿特金森的观点提出了更为乐观的看法。他认为，“先进社会的安全文化”将确保消除人工智能可能带来的所有严重风险，因此，提醒人们注意这些风险不仅是不恰当的，还会适得其反。^[21]即使我们放下我们先进的安全文化导致了切尔诺贝利、福岛的核事故和失控的全球变暖这些事实不谈，平克的论点也完全没有切中要害。安全文化恰恰是由人们指出可能的故障模式，并找到确保故障不会发生的方法组成的。（对于人工智能，标准模型就是故障模式。）说指出一种故障模式是荒唐的，因为安全文化无论如何都会解决这一问题，就像说看到肇事逃逸事故时不应该叫救护车，因为有人会叫救护车一样。

在试图向公众和决策者描述风险时，人工智能研究人员与核物理学家相比处于劣势。物理学家不需要写书向公众解释聚集临界质量的高浓缩铀可能存在风险，因为其后果已经在广岛和长崎得到了证明。因此他们并不需要大量进一步的劝说，就能让各国政府和资助机构相信安全性在发展核能中是重要的。

部落主义

在巴特勒的《埃里汪奇游记》中，对大猩猩问题的关注导致了拥护机械主义者和反对机械主义者之间过早的和错误的截然对立。拥护机械主义者认为，机器统治的风险很小或根本不存在；反对机械主义者认为机器是不可战胜的，除非所有机器都被摧毁。争论变成了部落式的，没有人试图解决“如何保持人类对机器的控制”这一根本问题。

20世纪的所有主要技术问题——核能、转基因生物和化石燃料，在不同程度上都屈从于部落主义。每个问题都有赞成和反对两个方面。每个部落的动态和结局都不同，但是部落主义的症状是相似的：相互不信任和诋毁、非理性地争论、拒绝承认任何可能有利于另一个部落的（合理）论点。在支持技术的一方，人们看到的是对风险的否认和隐瞒，以及对卢德主义的指责；在反对技术的一方，人们看到了一种信念，即风险是无法克服的，问题是无法解决的。支持技术的部落成员在“问题”上过于诚实会被视为叛徒，这尤其不幸，因为支持技术的部落成员通常包括大多数有能力解决这个问题的人。反对技术部落中讨论“可能的缓解措施”的成员也会被视为叛徒，因为被视为邪恶的是技术本身，而不是其可能带来的影响。于是，只有最偏激的声音——那些最不可能被对方听取的声音，才能代表每个部落。

2016年，我应邀前往唐宁街10号，与当时的英国首相戴维·卡梅伦（David Cameron）的几位顾问会面。他们担心人工智能辩论正开始变得类似于转基因辩论。在欧洲，转基因辩论导致顾问们认为：对转基因生产和标签的规定过于严格且为时过早。他们想避免同样的事情发生在人工智能领域。他们的担忧不无道理：有关人工智能的辩论正面临部落化，即建立支持人工智能和反对人工智能两大阵营的危险。这将对人工智能领域造成损害，因为担心高级人工智能固有的风险是一种反对人工智能的立场。担心发生核战争或设计不良的核反应堆爆炸的物理学家并不反对物理学。我们说人工智能将强大到足以产生全球影响，是对该领域的赞美，而不是侮辱。

人工智能界必须承担风险并努力缓解风险，这一点至关重要。就我们所了解的风险而言，这些风险既非微不足道，也非不可克服。我们需要做大量的工作来避免它们，包括重塑和重建人工智能的基础。

难道我们不能……

难道我们不能……关闭电源？

一旦理解了生存性风险的基本思想，无论是大猩猩问题还是迈达斯国王问题，包括我自己在内的许多人都会立即开始寻找一个简单的解决方案。通常，首先出现在脑海中的方案是关闭机器。例如，如前所述，艾伦·图灵本人推测我们可能会“让机器处于从属地位，例如在关键时刻关闭电源”。

这是行不通的，原因很简单，一个超级智能实体会事先想到这种可能性，并采取措施来阻止它。它这样做不是因为它想要生存，而是因为它在追求我们赋予它的任意目标，并且知道如果自己被关闭，这个目标就无法达成。

人们正在构想一些系统，如果不破坏我们文明的许多管线，我们就无法关闭这些系统。这些系统在区块链中以所谓的智能契约的形式实现。区块链是基于加密的高度分布式的计算和记录保存形式，它经过专门设计，使得一个人在不控制大量机器并解开链的情况下，基本上不能删除任何数据，也不能终止任何智能契约，而这又可能会破坏互联网或金融系统的很大一部分。这种不可思议的鲁棒性到底是特性还是缺陷尚且存在争议。这当然是一个超级人工智能系统可以用来保护自己的工具。

难道我们不能……把它放进盒子里？

如果你不能关闭人工智能系统，那么你能否把机器密封在某种防火墙内，从它们那里提取有用的问答，但绝不允许它们直接影响现实世界？这就是Oracle AI（甲骨文人工智能）背后的理念，人工智能安全界对此进行了详细的讨论。^[22] Oracle AI系统可以是任意智能的，但对每个问题只能回答是或否（或给出相应的概率）。它可以通过只读连接访问人类拥有的所有信息，也就是说，它不能直接访问互联网。当然，这意味着放弃超级智能机器人、助手和许多其他类型的人工智能系统，但是值得信赖的Oracle AI仍然具有巨大的经济价值，因为我们可以问它一些问题，这些问题的答案对我们而言很重要，例如阿尔茨海默病是否是由传染性有机体引起的，禁止自主武器是否是好主意。因此，Oracle AI无疑是一种有趣的选择。