智人之上：从石器时代到AI时代的信息网络简史

为了说明这一点，请让我以一个有点儿天马行空的思想实验为例，它有点儿像波斯特洛姆提出的^“回形针启示^”的极权政体版本。想象时间来到₂₀₅₀年，凌晨₄点，独裁者被^“监控与安全算法^”紧急叫醒。^“伟大的领袖，我们遇上了一个紧急状况。我通过计算几万亿个数据，发现了绝对无误的模式：国防部长打算在今早对您发动暗杀政变。暗杀小队已经准备就绪，等他下令。但只要您一声令下，我就会发动精准攻击，将他肃清。 99

^“可是国防部长是我手下最忠诚的人，^”独裁者说，^“他昨天还跟我 ^说……^”

^“伟大的领袖，我知道他对您说了什么，这世上没有什么话是我没听过的。但我也知道他后来对暗杀小队说了什么，而且我一直在数据中发现令人不安的模式，已经追踪了好几个月。 ,

^“你确定你没有被深度伪造的数据蒙骗吗？

^“恐怕我所依据的数据都是百分之百真实的，^”算法说，^“我使用专门的深度伪造检测子算法检查过。虽然我可以详细解释为什么我知道这些不是深度伪造的数据，但可能得花上几个星期。要不是已经确定，我绝不想惊扰您，但所有数据都指向一个绝对的结论：一场政变就在眼前。除非我们现在采取行动，否则暗杀小队一小时后就会抵达。但只要您下令，我就会肃清叛徒。 99

独裁者让监控与安全算法拥有这么大的权力，这让他进退两难。如果他不相信算法，就可能被国防部长暗杀；如果他相信算法、肃清国防部长，就成了算法的傀儡。要是有人想对算法不利，算法也很清楚怎样操弄他来先下手为强。请注意，这一切并不代表算法需要有意识。

就像波斯特洛姆的回形针思想实验所显示的^——也像是GPT-₄会对跑腿兔网站（TaskRabbit）的打工人员小规模地撒谎^——算法就算没有意识，不会像人类一样贪婪或自私，也可能会试着抓住权力，操弄他人。

要是算法真的能发展出以上假设的这些能力，独裁政权成为算法傀儡的风险其实远高于民主政权。在美国这样的分布式民主体系中，人工智能再不择手段也很难夺权：就算学会了如何操弄美国总统，还是得面对国会、联邦最高法院、州长、媒体、各大企业和各种非政府组织的反对。举例来说，如果参议院阻挠议事，算法能怎么办？

国家的权力如果高度集中，夺权的难度就低得多。如果所有权力集于一人之手，只要控制了专制者的亲信，就等于控制了专制者，也就等于控制了整个国家。只要学会操控一个人，就能成功劫持整个体制。一个典型的例子就是罗马皇帝提比略成了禁卫军队长塞扬努斯的傀儡。

禁卫军最初由奥古斯都所设，是一个小型的帝国护卫队。奥古斯都还给禁卫军任命了两名队长，这样任何一位的权力都不会凌驾于自 己之上。可惜，提比略没那么聪明，而他的偏执也成了他最大的弱点。身为两位队长之一的塞扬努斯，巧妙地利用了提比略的恐惧心理，不断揭发各种号称要暗杀提比略的阴谋，但多半纯属虚构。除了塞扬努斯，这位多疑的皇帝开始越来越不信任其他人，于是任命塞扬努斯成了禁卫军唯一的队长，统领_1.2万人，还进一步负责整个罗马城的治安与管理。到最后，塞扬努斯还说服提比略离开了首都，前往卡普里岛，理由是比起一个充满叛徒与间谍的大都市，在一个小岛上保护皇帝实在容易多了。但正如罗马历史学家塔西佗所言，塞扬努斯的真正目的是掌控能够传到皇帝手中的一切信息：^“与皇帝的接触尽在他的控制之中，之前由士兵传递的信件，现在都必须经他的手转交。

提比略被孤立在卡普里岛上，塞扬努斯控制了提比略能够获取的一切信息。随着禁卫军控制了罗马，这位禁卫军队长也就成了罗马帝国真正的统治者。包括皇室成员在内，只要是可能反对他的人，塞扬努斯就会诬指他们叛国，并加以清除。所有人都必须经过塞扬努斯的许可才能联络上皇帝，提比略因此沦为傀儡。

终于，后来有人（或许是提比略的弟媳安东尼亚）在塞扬努斯的信息防线里发现了一个缺口，偷偷将一封信送到皇帝那里，解释了当时的情境。提比略发现了危险，决心要除掉塞扬努斯，却几乎束手无策。这个人不但控制了他身边的守卫，还控制了他与外界的一切联系，他要怎样才能扳倒这个人？一旦提比略轻举妄动，塞扬努斯就可能会将他无限期囚禁在卡普里岛，并且告诉元老院与军队皇帝重病，无法前往他处。

话虽如此，提比略还是成功地扭转乾坤。随着塞扬努斯权力与日俱增，他开始把更多心思放在整个帝国的管理上，不再过问罗马治安机构的日常琐事。提比略找到塞扬努斯的一个部下^——马克罗（负责罗马消防与夜巡事务的警卫队队长），取得了他的支持。马克罗策划政变，扳倒了塞扬努斯。作为奖励，提比略任命马克罗成为新任禁卫军队长。几年后，马克罗杀死了提比略。

权力存在于各个信息通道的交会点。由于提比略让信息通道交会在塞扬努斯这个人身上，因此塞扬努斯成了真正的权力中心，提比略则沦为傀儡。

提比略的命运告诉我们，所有独裁者都要维持一种很脆弱的平衡：既要把所有信息集中在一处，又要小心让自 己成为各种信息通道的唯一交会点。要是信息通道交会在其他地方，那里就会成为真正的权力枢纽。如果政权仰赖的是人类（如塞扬努斯与马克罗），高明的独裁者就能操弄他们互相对抗，而让自 己稳居高位。如果政权仰赖的是一套力量强大且高深莫测的人工智能，所有信息都由人工智能来收集与分析，人类独裁者就有可能直接失去一切权力。这位独裁者就算依然身在首都，也像是被隔离在一个数字孤岛上，只能受到人工智能的控制与操弄。

独裁者的困境

比起成为算法的傀儡，接下来几年里，这个世界上的独裁者还会碰上更迫切的问题。目前的人工智能系统还没有大规模操控政权的能力，但极权政权已经出现了太过信任算法的危机。民主政权假设任何人都可能犯错，而极权政权假设自 己永远是对的。基于这种假设而建立起的政权，相信有绝对正确的天才存在，也不乐见创造出强大的自我修正机制，用以监督那位天才。

到目前为止，这些政权相信的都是由人类组成的领导人，也是培育个人崇拜的温床。未来，这样的极权传统也使这些政权做好另一种准备：相信有绝对正确的人工智能。这不只会给这些政权的公民带来灾难，还可能波及世界其他地区。要是某个负责环境政策的算法犯了离谱的错误，又没有自我修正机制能够发现并修正这个错误，事情会如何发展？要是某个负责国家社会信用体系的算法犯了离谱的错误，除了开始恐吓一般大众，甚至还开始恐吓执政党成员，把所有质疑算法

所制定的政策的人都贴上^“人民的敌人^”这个标签，事情又会如何发展？

独裁者无法摆脱的问题，就是自我修正机制薄弱，以及下属尾大不掉的威胁，而人工智能的兴起又可能让这些问题变得更为严重。对独裁者来说，计算机网络带来的其实是一个令人无比苦恼的两难困境。独裁者如果想要摆脱尾大不掉的人类下属，可以选择信任理论上绝对正确的信息技术，但这种时候，他们就可能成为信息技术的傀儡。如果独裁者想要建立一个人类机构来监督人工智能，就得小心这个机构对独裁者的权力造成限制。

即使全球只有极少数独裁者选择信任人工智能，也可能对全人类造成深远影响。科幻小说里常常会出现人工智能不再受控，进而奴役或消灭人类的场景，而且多半把背景设在民主资本主义的社会。这点也不难理解，毕竟民主国家的作家对自 己的社会更感兴趣。然而，人类如果要对抗人工智能，里面最弱的一环大概就是独裁者。人工智能如果要夺取权力，最简单的方法不是逃出制造科学怪人的实验室，而是赶快去讨好偏执的提比略。

这种说法并不是预言，而是提出一种可能。₁₉₄₅年之后，独裁者及其下属还是能和民主政权与公民携手合作，共同抵制核武器的。₁₉₅₅年₇月₉日，爱因斯坦、罗素等著名科学家及思想家共同发表《罗素-爱因斯坦宣言》，呼吁各个国家的领导人应合力避免发生核战争。这份宣言提到：^“我们以人类的身份，向人类殷切呼吁：请铭记人性，并忘却其余。做到这点，眼前就是通往新天堂的道路；反之，眼前就是共同毁灭的危机。^”人工智能也是如此。独裁者如果相信人工智能必定会让权力的天平向自 己倾斜，只能说是愚不可及。只要一不小心，人工智能就会夺取权力。

1. 例如，参见其他极具洞见的文章：Zuboff, Age of SurveillanceCapitalism; Fisher, Chaos Machine ; Christian, AlignmentProblem; D’Ignazio and Klein, Data Feminism; Costanza-Chock.

Design Justice . Kai-Fu Lee, AI Superpowers: China, Silicon Valley, and the New World Order (New York: Houghton Mifflin, 2018)，这是一个绝佳的反例。也请参见：Mark Coeckelbergh, AI Ethics (Cambridge, Mass.: MIT Press, 2020).

1. Dionysis Zindros, “The Illusion of Blockchain Democracy: One Coin Equals One Vote,”Nesta Foundation, Sept. 14, 2020, www.nesta.org.uk/report/illusion-blockchain-democracy onecoin-equals-one-vote/; Lukas Schädler, Michael Lustenberger, and Florian Spychiger,“Analyzing Decision-Making in Blockchain Governance,”Frontiers in Blockchain 23,no. 6 (2023); PricewaterhouseCoopers, “Estonia — the Digital Republic Secured by Blockchain,” 2019, www.pwc.com/gx/en/services/legal/tech/assets/estonia-thedigital republic-secured-by-blockchain.pdf; Bryan Daugherty, “Why Governments Need to Embrace Blockchain Technology,”Evening Standard, May 31, 2023, www.standard.co.uk/business/government-blockchaintechnology-business-b1080774.html.

1. Cassius Dio, Roman History, book 78.

1. Ibid., book 6.50.

1. Albert Einstein et al., “The Russell-Einstein Manifesto [1955],”Impact of Science on Society—Unesco 26, no. 12 (1976): 15–16.

第十一章硅幕：全球帝国还是全球分裂？

前两章探讨的是不同的社会制度各自如何应对新计算机网络的兴起。然而这是个紧紧相连的世界，一个国家的决定就可能对其他国家产生深远的影响。人工智能可能造成最严重的危险，有些并不在于单一社会的内部反应，而在于许多社会互动形成的动态，例如导致新的军备竞赛、新的战争和新的帝国扩张。

目前，计算机还没有强大到足以完全摆脱人类的控制，或是独力摧毁人类的文明。只要人类团结一心，就能打造出适当的机构制度，用来控制人工智能，找出并修正算法的错误。但遗憾的是，人类从未真正团结一心，总是有些坏人在作乱，而好人也不见得都能达成共识。于是，人工智能兴起之所以会对人类构成生存威胁，并不是因为计算机真的抱有什么恶意，而是因为人类自 己的缺陷问题。

如此一来，偏执的独裁者可能让会犯错的人工智能拥有无限的权力，甚至包括发动核打击。如果独裁者对人工智能的信任程度比对国防部长还高，不就确实该让人工智能来掌管一国威力最强大的武器吗？但如果这时的人工智能犯了错，或者开始追求非人类的目标，就可能造成灾难性结果，而且倒霉的不只是那个国家自 己。

同样，原本只在全球某个地点惹事的恐怖分子，可能会运用人工智能引发全球疫情。虽然想要引发世界末日的恐怖分子可能不懂流行病学，但现在他们只需要设定目标，其他一切都可以由人工智能来完成。人工智能可以合成新的病原体，委托生物实验室制造或采用生物₃D打印，再找出最佳的全球传播通道，通过机场或食品供应链传至全球。如果人工智能合成的病毒致死率像埃博拉病毒一样高，传染性像新冠病毒一样强，而发病速度又像艾滋病一样慢，情况会如何？等到第一批受害者开始死亡、全世界终于意识到危险时，可能全球的绝大多数人都已经被感染了。

前面的章节曾提过，威胁人类文明的不只是原子弹或病毒这些实体或生物性的大规模毁灭性武器，人类文明也可能被社会性的大规模毁灭性武器摧毁，例如用故事来破坏人类的社会联结。某个国家或许就能研发人工智能来放出大量的假新闻、假货币、虚拟人类，而让许多国家的其他人再也无法相信任何事或任何人。

许多社会（无论是民主国家还是独裁国家）都可能表现出负责任的态度，禁止将人工智能用于此类用途，取缔不良分子，也对本国统治者或狂热分子的野心加以约束。然而，哪怕只有极少数社会没做到这一点，就足以对全人类造成危害。比如，气候变化是一项全球性问题，因此就算个别国家把自 己的环境法规制定得再好，也可能因为全球的气候变化而遭到彻底毁灭。人工智能也是一项全球性问题。各国绝不能够天真地以为，只要在自 己的国境之内管好人工智能，就不用担心人工智能革命会给自 己带来什么最坏的结局。因此，要理解新的计算机政治，绝不能只谈个别社会该如何应对人工智能，而必须考虑人工智能会怎样影响全球不同社会之间的关系。

目前全球有大约₂₀₀个民族国家，大多数在₁₉₄₅年后才获得独立，而且国与国之间的地位并不平等。现在的国家列表中有两个超级大国、几个主要大国、几个集团与联盟，再加上许多小国。话虽如此，但即使是最小的国家也有一定的影响力。比如，在₂₁世纪₂₀年代初，美、中两个超级大国在具有重要策略意义的南太平洋地区施加影响力，于是频频向汤加、图瓦卢、基里巴斯与所罗门群岛等岛国示好。这些小国的人口从₇₂万（所罗门群岛）到仅仅只有_1.1万（图瓦卢），但它们的政府却有很大的空间能够决定要倾向于哪一方，从中获得相当大的让步与援助。

而像卡塔尔这样的小国，同样成了地缘政治舞台的重要参与者。卡塔尔公民虽然只有₄₅万人，却能在中东推进雄心勃勃的外交政策目标，在全球经济中举足轻重，还是半岛电视台这个阿拉伯世界首屈一指的电视网络的所在地。有人或许会说，卡塔尔的影响力之所以如此远超其人口规模，是因为卡塔尔的天然气出口高居世界第三。但如果处于不同的国际环境，卡塔尔很有可能无法像这样独立发挥影响力，而只能是帝国征服者菜单上的第一道菜。值得一提的是，以₂₀₂₄年的情况来说，卡塔尔强大的邻国与其他世界强势国家都愿意让这个海湾小国继续坐享无比的财富。很多人会形容国际体系就像丛林，但如果是这样，这个丛林里的老虎倒是愿意让肥鸡活得相对安心。

从卡塔尔、汤加、图瓦卢、基里巴斯与所罗门群岛这些例子都能看出，现在是后帝国时代。在₂₀世纪₇₀年代，随着欧洲帝国秩序的消亡，这些国家也从大英帝国手中获得了独立。看到这些国家目前在国际舞台能够拥有影响力，就知道在₂₁世纪的前₂₅年，权力并非被少数国家垄断，而是分布在相对较多的参与者中间。

但新计算机网络的崛起，将会怎样改变国际政治的形态呢？除了各种世界末日的场景（比如独裁人工智能发动核战争，或是恐怖人工智能催生致命的全球疫情），计算机对目前的国际体系还有两大挑战。第一，由于计算机让信息与权力更容易集中于单一中央枢纽，人类可能进入一个新的帝国时代。整个世界就这样落入几个帝国（甚至是单一帝国）之手，而且控制的强度远高于当初的大英帝国。

第二，一道新的硅幕可能让人类分裂，使之分属于敌对的数字帝国。随着每个政权对于人工智能一致性问题、独裁者困境与其他技术难题提出了不同的答案，这就可能各自创造出独立而又非常不同的计算机网络。在不同的网络（以及这些网络所控制的人类）之间，互动的难度将越来越高。每个网络的生活经验与世界观都大异其趣，于是几乎无法沟通，也难以达成共识。

如果事情真的这样发展，就很容易产生各自的世界末日场景。或许每个帝国都能让核武器控制在人类手中，也能让疯子远离生物武器，但如果人类分裂成诸多无法彼此理解的敌对阵营，想再避免毁灭性战争或是防止灾难性气候变化，机会只能说是微乎其微。世界如果由不透明的硅幕隔成许多敌对的帝国，也将难以约束人工智能爆炸性的威力。