智人之上：从石器时代到AI时代的信息网络简史

在计算机这个领域，波斯特洛姆的思想实验还能让我们看到一致性问题格外重要的第二个原因：因为都是非生物实体，所以它们采用的策略很可能是所有人类从未想到的，自然无力预见并阻止。这里有一个例子：2016年，达里奥·阿莫迪设计了一个名为^“宇宙^”（Universe）的项目，想要研发一款通用人工智能，它知道怎样玩几百种不同的计算机游戏。这款人工智能在各种赛车游戏中表现出色，于是阿莫迪决定让它试试赛船游戏。但不知道为什么，这款人工智能直接把船开进一个港口，接着就只是不断绕圈进进出出。

阿莫迪花了很久才搞清楚问题出在哪里。之所以会出现这个问题，是因为阿莫迪一开始不知道怎样告诉这款人工智能，它的目标是赢得比赛。对算法来说，^“赢^”并不是一个明确的概念。如果把^“赢得比赛^”翻译成计算机能懂的语言，阿莫迪就必须把排位、与其他参赛船只的相对位置之类的复杂概念都用形式语言表达出来。于是阿莫迪决定换个简单的办法，告诉人工智能得分越高越好。在他看来，得到最高分的应该和赢得比赛差不多，毕竟之前的赛车游戏都是这样的。

然而，那款赛船游戏有一个赛车游戏没有的特点，而聪明的人工智能找到了游戏规则的漏洞。在这款赛船游戏中，如果领先其他船只，玩家就能得到大量积分（这和赛车相同），然而船只每次靠港补充能量的时候，也能得到一些积分。结果人工智能就发现，与其试着超越其他船只，不如不断绕圈进出港口，这样反而能够更快积累更多积分。显然，无论是游戏的人类开发者还是阿莫迪都没注意这个漏洞。而这款人工智能所做的，正是这款游戏鼓励它做的事，只是这并不是人类想看到的。这正是一致性问题的本质：我们奖励的是A行为，却希望得到B结果。要是我们希望计算机能带来最大的社会效益，就不该因为它们带来了最高的用户参与度而给予奖励。

担心计算机一致性问题的第三个原因，在于计算机与人类实在差异太大，所以就算我们不小心给出了与人类利益不一致的目标，计算机也不太会有所警觉或要求说明。如果那个赛船人工智能是人类玩家，应该就会意识到，利用 自 己在游戏规则里发现的漏洞大概不能真正赢得比赛；如果那个回形针人工智能是人类官僚，应该就会意识到，人类的初衷大概不是让它为了生产回形针而毁灭人类。但正因为计算机不是人类，也就不能单纯信赖计算机会找出并警告可能的利益不一致现象。在₂₁世纪₁₀年代，YouTube与脸书的管理团队早就受到人类员工（与外部观察者）的连番轰炸，警告算法正在造成的危害，但算法本身从头到尾浑然未觉。

随着我们让算法在医疗保健、教育、执法和许多其他领域拥有越来越大的权力，一致性问题也变得越来越严重。要是不设法解决，问题绝不只是算法让赛船一直绕圈刷积分而已。

科西嘉岛的联结

一致性问题该怎么解决？理论上，人类建设计算机网络的时候，就该为这个网络确立一个终极目标，并且永远不允许计算机更改或忽视这个目标。这样一来，就算以后计算机变得太强大，人类再也无法控制计算机，人类还是可以放心，知道计算机的力量只会帮助人类，而非伤害人类。当然，除非我们一开始就不小心确立了一个会对人类造成伤害或太过模糊的目标。这正是问题所在。人际网络有各种自我修正机制，能够定期审查、修改目标，所以即使目标错了，也不会是世界末日。但因为计算机网络可能脱离人类的控制，所以一旦目标设定错了，等到发现可能为时已晚，人类再也无力回天。有些人或许觉得，只要先仔细想清楚，就能预先为计算机网络设定正确目标。然而，这是个非常危险的幻想。

为了理解为何人类不可能预先对计算机网络的终极目标达成共识，让我们先回顾一下克劳塞维茨的战争理论。他认为，合乎理性就等于^“一致性^”，但这里有个致命的缺陷。虽然克劳塞维茨的理论要求所有行动必须与终极目标保持一致，却没有提供合乎理性的方法来设定这种目标。以拿破仑的一生与军旅生涯为例。他的终极目标应该是什么？鉴于法国在₁₈₀₀年前后的主流文化氛围，我们可以猜测，拿破仑当时心里想着的终极目标有以下几种可能。

·可能目标₁：让法国成为欧洲霸主，确保未来不会受到英国、哈布斯堡家族一直把持的神圣罗马帝国、俄国、统一的德国或统一的意大利的任何攻击。

·可能目标₂：创造一个新的多民族帝国，由拿破仑家族统治，版图除了法国，还包括整个欧洲与海外的许多其他领土。

·可能目标₃：让自 己赢得永恒的荣耀，就算死后数百年，还会有几十亿人知道拿破仑这个名字，钦佩他的天才。

·可能目标₄：确保自 己永恒的灵魂得到救赎，并在死后进入天堂。

·可能目标₅：传播法国大革命的普世理想，维护欧洲和全世界的自由、平等与人权。

许多自诩为理性主义者的人，应该会认为拿破仑该选择第一个目标（确保法国在欧洲的霸主地位）作为自 己一生的使命。为什么呢？别忘了，对克劳塞维茨而言，合乎理性即目标与行为能够一致。要判断某项战术动机是否合乎理性，唯一的标准就是它必须与某个更高级的战略目标一致，而战略目标同样必须和更高级的政治目标一致。如果这样层层推进，这一系列目标的起点究竟在哪儿？我们如何确立这个终极目标，并让后续所有战略子目标、实际战术步骤都是合理的？就定义而言，这样的终极目标本身就是最高目标，也就没办法让它必须看齐哪个目标来保持一致了。但这样一来，究竟是出于什么道理，把法国放在整个目标层级的最顶端，而不是拿破仑的家族、拿破仑的声誉、拿破仑的灵魂甚至是普世人权呢？克劳塞维茨并没有给出答案。

有人可能会说，第四个目标（确保自 己永恒的灵魂得到救赎）根本就是基于一种虚幻的信念，哪儿能将其当作最终理性目标的选项？然而，其他目标难道不是这样吗？^“永恒的灵魂^”是一种存在于主体间的发明，只存在于人类的脑海之中，但^“国家^”与^“人权^”不也是如此吗？为什么拿破仑应该更在意某个虚幻的^“法国^”，而不应该更在意自 己虚幻的^“灵魂^”？

事实上，在拿破仑年少的时候，有一大段时间甚至不认为自 己是法国人。他出生于科西嘉岛上的一个意大利移民家庭，本名叫拿破仑·迪·波拿巴。₅₀₀年来，一直是意大利城邦热那亚统治着科西嘉岛，拿破仑有许多祖先也生活在热那亚。到₁₇₆₈年（拿破仑出生前一年），热那亚才将这个岛屿割让给法国。科西嘉民族主义者不愿被割让，于是发动叛乱。直到₁₇₇₀年民族主义者彻底战败，才使科西嘉岛正式成为法国的一个省。许多科西嘉人心中仍然抗拒法国，但波拿巴家族宣誓效忠法国国王，还把拿破仑送到法国本土的军校就读。

拿破仑在学校饱受同学嘲弄，一方面因为他是科西嘉人，另一方面因为他的法语说得不好。他的母语是科西嘉语与意大利语，就算他后来的法语已经说得相当流利，却始终带着科西嘉口音，而且法文拼写一直是他的一大障碍。拿破仑最后加入了法国军队，但在₁₇₈₉年法国大革命爆发时，他又回到科西嘉岛，希望这场革命能给他心爱的岛屿带来机会^——得到更多的自治权。直到拿破仑与科西嘉独立运动领袖帕斯夸莱·保利闹翻，他才在₁₇₉₃年₅月终于放弃了为科西嘉的奋斗，回归法国本土，决定开创自 己的未来。也是在这时，拿破仑把自 己的名字从意大利文的Napoleone di Buonaparte改成法文的NapoléonBonaparte（他的意大利文姓名一直用到1796年）。

所以，让拿破仑把军旅生涯都奉献给法国，让法国成为欧洲霸主，这真的是最合乎理性的选择吗？还是应该留在科西嘉岛，解决与保利之间的个人恩怨，将这个自 己生于斯、长于斯的岛屿从法国征服者手中解放？抑或拿破仑的毕生使命其实该是去统一祖先的故土意大利？

克劳塞维茨并没有对这些问题给出合乎理性的回答方式。如果我们只有一条黄金法则，就是^“所有行动都必须向某个更高的目标看齐，保持一致^”，那么就不会有可以用来确立那个终极目标的合乎理性的方式。这样一来，我们又怎么可能为计算机网络确立一个永远不得忽视、永远不得违背的终极目标呢？那些急着想要研发人工智能的技术高管与工程师，如果觉得能有个合乎理性的方法可以告诉人工智能该追求什么终极目标，其实是犯了一个严重的错误。只是看到过去世世代代的哲学家屡战屡败，他们就应该吸取一点儿教训。

康德主义与纳粹

几千年来，哲学家一直想要定义一个所谓的终极目标，也就是说，这个目标并不需要再看齐某个更高级的目标。在哲学上，可能的解决方案分为两大派，以哲学术语来说就是义务论与功利主义。义务论（来自希腊文的词根deon，意为^“责任^”）相信，世界上存在所有人都应该遵守的普世道德义务或道德规则。这些规则的重点并不是看齐某些更高的目标，而是其本质的良善。如果真的有这样的规则，而且我们也能找到方法将其写进计算机程序，就能确保计算机网络成为一股向善的力量。

但本质的良善到底是什么意思？如果说有谁试过定义^“本质的良善^”，代表人物肯定是与克劳塞维茨和拿破仑同一时期的康德。在康德看来，所谓本质的良善的规则，就是那些自 己想要将其推广到普世的规则。根据这个观点，如果某个人想要动手杀人，这时应该先停下来，经历以下的思考过程：^“我现在正要杀掉一个人。我是不是想要确立一条普世规则，规定允许杀人？要是确立了这样的普世规则，就有可能有人来杀我。所以，不应该有一条允许杀人的普世规则。由此可见，我也不该杀人。^”简单来说，康德就是换了一种说法来表达一条古老的黄金法则：^“你们愿意人怎样待你们，你们也要怎样待人^”（《马太福音》₇：₁₂）。

这听起来似乎简单而明显，总之就是想要别人怎样对你，你就应该怎样对人。然而，在超脱俗世的哲学领域听起来不错的想法，往往很难移植到残酷现实的历史领域。历史学家会问康德一个关键问题，在说普世规则的时候，到底应怎么定义^“普世^”。在实际的历史情境中，如果想要杀掉某个人，第一步常常是把这个人踢出普世的人类共同体。举例来说，针对罗兴亚人的极端分子就是这么做的。他们有的为佛教僧侣，当然反对杀人，但却把罗兴亚人视为次等人，他们自然不适用这条普世规则。这些极端分子在发表的文章与访谈中多次把罗兴亚人比作野兽、蛇、疯狗、狼、豺，以及其他危险动物。₂₀₁₇年₁₀月₃₀日，暴力冲突达到高峰，一位资深的佛教僧侣向军官讲经说法，认为非佛教徒不完全是人，所以针对罗兴亚人的暴力行为是可接受的。

作为一个思想实验，想象一下康德与负责犹太人大屠杀的阿道夫·艾希曼之间的会面（对了，艾希曼自认为是康德主义者）。在艾希曼签署命令，要把整列火车的犹太人送往奥斯威辛集中营的时候，康德告诉他：^“你将要杀掉几千人。你是不是想要确立一条普世规则，规定允许杀人？要是确立了这样的普世规则，你和你的家人也可能会被杀死。^”艾希曼说：^“没这回事，我并非想杀掉几千个人，我只是想杀掉几千个犹太人而已。如果你问的是，我想不想确立一条普世规则，说杀犹太人完全可行，那我可是再赞成不过。对我和我的家人来说，这条普世规则并不会让我们被杀，我们可不是犹太人。

康德可能会回应艾希曼说在定义实体的时候，必须选用最普世适用的那个定义。所以如果某个实体可以被定义为^“犹太人^”或^“人类^”，就该选用更普世适用的^“人类^”一词。然而，纳粹意识形态最大的特点，就是从根本上否定犹太人是人。除此之外，也请注意犹太人除了是^“人类^”，也是^“动物^”，甚至是^“生物^”。而由于^“动物^”与^“生物^”显然又是比^“人类^”更普世适用的类别，如果真的遵循康德的逻辑，最后我们可能都必须吃纯素食了。因为既然我们是生物，不就代表我们应该反对杀死任何生物，包括番茄或阿米巴原虫？

历史上，许多（甚至是绝大多数）冲突都与身份的定义有关。每个人都会说杀人是不对的，但又总会认为只有杀了自 己内群体的成员才算是^“杀人^”，如果杀的是外群体的成员就不算^“杀人^”。然而，内群体与外群体只是存在于主体间的概念，其定义常常源自一些虚构的故事。于是，原本一心追求普世理性规则的义务论，最后往往成为地方虚构故事的俘虏。

如果我们一心想要追求义务论的那种普世规则，而且不是将其套到人身上，而是套到计算机头上，义务论引出的这个问题就会变得格外要命。计算机甚至根本不是生物。所以如果它们要遵守^“你们愿意人怎样待你们，你们也要怎样待人^”这条规则，那杀死像人类这样的生物又何妨？一台遵守康德的逻辑，而且想活下去的计算机，并没有理由反对^“杀死生物很可行^”这样的普世规则，反正这条规则并不会危及非生物的计算机。

此外，计算机身为非生物实体，甚至有可能根本不害怕死亡。就我们所知，死亡是一种生物现象，可能并不适用于非生物实体。当古代亚述人说要^“杀掉^”文献的时候，也只是打比方。如果计算机更像文件而不像生物，根本不在意^“被杀^”，人类又是否乐见一台计算机遵循康德的逻辑，做出^“杀人无所谓^”这样的结论？

有没有哪种方法，既能定义计算机该保护哪些对象，而不会被一些存在于主体间的错误观念影响？最清楚的建议就是告诉计算机保护所

有^“能够感受到痛苦的实体^”。人之所以会感到痛苦，常常是因为相信了当地的某种主体间虚构概念，但痛苦本身仍然是个普世存在的现实。因此，如果以^“能够感受到痛苦^”来定义是否属于内群体，就能让道德有个客观而普世存在的现实基础。自动驾驶汽车除了不该杀死任何人类（无论是佛教徒还是穆斯林，也无论是法国人还是意大利人），也不该杀死狗和猫，以及未来可能出现的能够感受痛苦的机器人。我们甚至还能让这条规则变得更完善，要求自动驾驶汽车依据不同生物能够感受痛苦的程度，安排保护的顺序。如果自动驾驶汽车必须选择是撞死一个人还是一只猫，因为理论上猫感受到的痛苦程度比较低，所以应该选择猫。然而，如果真往这个方向走，我们会发现自己已经在无意间离开了义务论的阵营，来到了功利主义阵营当中。

痛苦该如何计算

义务论者努力寻找本质的良善的普世规则，而功利主义者则是用行为对痛苦或快乐的影响来判断行为。英国哲学家边沁（与拿破仑、克劳塞维茨和康德同时代的人）认为，世上唯一合乎理性的终极目标，就是尽量让世界减少痛苦，增加快乐。如果我们对计算机网络最大的恐惧是因为其与人类的目标不一致而会给人类甚至其他生物造成可怕的痛苦，那么功利主义这套解决方案似乎顺理成章，再理想不过了。建设计算机网络的时候，只要记得让它尽量减少痛苦、尽力增加快乐就行了。这种观点认为，要是当初脸书给算法的指示是尽量增加快乐而不是尽量提升用户参与度，事情肯定会一切顺利。值得一提的是，这种功利主义的观点确实在硅谷大受欢迎，又特别受到有效利他主义运动的推崇。

但很遗憾，这也像义务论的解决方案一样，虽然在哲学理论领域听起来很简单，但到了历史实践领域就变得极其复杂。功利主义碰到的问题是人类并不知道该如何计算痛苦：我们不知道某个事件究竟应有多少个^“痛苦值^”或^“快乐值^”，所以在复杂的历史情境中，很难计算某个特定行为到底是增加还是减少了世界整体的痛苦总额。

唯有在痛苦的天平很明显偏向某一端的时候，功利主义才能发挥最大的作用。如果今天面对的是艾希曼，功利主义不用去争辩复杂的身份问题，只需要提出一点：大屠杀给犹太人造成了巨大的痛苦，但对于包括德国人在内的其他人却没有带来同等利益。并没有迫切的军事或经济理由能说明德国人为何要杀害数百万犹太人。以功利主义为由来反对大屠杀，可以说具备绝对的正当性。

而像同性恋这样的^“无被害人犯罪^”，也特别适合用功利主义来讨论。几个世纪以来，对同性恋的迫害让他们单方面承受着巨大的痛苦。然而，造成这些迫害的理由只是各种偏见被错误地包装成义务论的普世规则。例如，康德之所以反对同性恋，是因为他认为同性恋^“违反自然本能与动物本性^”，会让一个人^“禽兽不如^”。康德还认为这样的行为违反自然规律，所以会^“使人不配拥有人性，也就不配再做一个人^”。事实上，康德只是把基督教的偏见重新包装成一套号称普世的义务论规则，在没有实证证据的情况下，就指控同性恋确实违反自然规律。前面曾提及，纳粹在大屠杀之前正是以^“去人性化^”作为序幕，因此，康德将同性恋去人性化这件事值得格外注意。认为同性恋违背自然规律、不配拥有人性，等于让艾希曼这样的纳粹分子有了理由，将同性恋者一起送进集中营并屠杀。而且既然说同性恋者不如禽兽，康德那套不可杀人的道理自然也不适用同性恋。

功利主义者很容易就能推翻康德关于同性恋的理论，而边沁确实属于欧洲最早一批支持同性恋合法化的现代欧洲思想家。功利主义者认为，仅是因为一些莫名其妙的普世规则就将同性恋视为一种犯罪，既会给数百万人造成巨大的痛苦，又无法为其他人带来任何实质性的好处。如果两个男人彼此相爱，这不但让他们快乐，也不会让任何其他人痛苦，为什么不准他们相爱呢？这种功利主义逻辑也带来许多其他现代改革，比如禁止酷刑，制定保护动物的法律。

然而，如果各方的痛苦不相上下，功利主义就比较难以在这种历史情境中站住脚。在新冠疫情初期，世界各国政府都采取了严格的隔离与封锁政策。这种做法或许挽救了数百万人的生命，但也让数亿人好几个月过得十分痛苦。此外，这还可能间接导致许多人死亡，例如，推高了致命家暴的发生率，或是让人更难及早发现与治疗癌症之类的危险疾病。对于这样的政策，谁能真的计算整体来说是增加还是减少了全球的痛苦？

听起来，把这种工作交给永远不用休息的计算机网络，似乎再适合不过了。然而，对于要和三个小孩一起被关在一套两居室公寓一个月这件事，计算机网络应怎么决定其痛苦值？是₆₀点还是₆₀₀点？因错过化疗而死于癌症的痛苦值又是多少？是₆万点还是₆₀万点？如果无论如何都会死于癌症，化疗只能让患者多活五个月，但过程会十分痛苦，又该怎么计算？这五个月的病榻折磨，计算机应该认为究竟是增加还是减少了整个世界的痛苦总额？

此外，对于一些比较抽象的事物（比如知道自 己难免一死）所造成的痛苦，计算机网络该如何计算？如果某个宗教神话承诺信众的灵魂是永恒的，会在死后进入天堂，这究竟是能够带来真正的快乐还是只是一场幻觉？人类会感到痛苦，究竟是源于死亡本身，还是我们不愿面对死亡？要是有人放弃了宗教信仰，接受了人终将一死，计算机网络究竟该认定这件事是增加还是减少了痛苦总额？

如果是像美国入侵伊拉克这种更复杂的历史事件呢？美国人很清楚，自 己的入侵会给数百万人造成巨大的痛苦。但他们认为，这样能为伊拉克带来自由和民主，长期来说，利大于弊。计算机网络能不能算出这个论点到底合不合理？就算理论上可行，实际上美国没能在伊拉克建立稳定的民主政体。这样一来，我们能不能说他们的尝试从一开始就是个错误？

在前面，义务论为了回答身份的问题，不得不接受功利主义的想法。在这里，功利主义也因为无法计算痛苦值，往往要采取义务论的立场。于是，功利主义开始高举^“避免侵略战争^”或^“保护人权^”这样的普世规则，但其实无法证明这样就能减少世界的痛苦总额。历史只让他们有个模糊的印象：遵守这些规则，似乎就能减少痛苦。然而当这些普世规则彼此冲突的时候（如思考是否要为了保护人权而发动侵略战争），功利主义就发挥不了什么实际作用。即使是功能最强大的计算机网络，也不知道究竟该如何计算。