智人之上：从石器时代到AI时代的信息网络简史

1. Jacob Feldman, “The Simplicity Principle in Human Concept Learning,”Current Directions in Psychological Science 12, no. 6 (2003): 227–32; Bethany Kilcrease, Falsehood and Fallacy: How to Think, Read, and Write in the Twenty-First Century (Toronto: University of Toronto Press, 2021), 115; Christina N. Lessov-Schlaggar, Joshua B. Rubin, and Bradley L.Schlaggar, “The Fallacy of Univariate Solutions to Complex Systems Problems,”Frontiers in Neuroscience 10 (2016), article 267.

1. Tobias Berg et al., “On the Rise of FinTechs: Credit Scoring Using Digital Footprints,”Review of Financial Studies 33, no. 7 (2020): 2845–97, doi.org/10.1093/rfs/hhz099.

1. Brinkmann et al., “Machine Culture.”

1. Jesse S. Summers, “Post Hoc Ergo Propter Hoc : Some Benefits of Rationalization,”Philosophical Explorations 20, no. 1 (2017): 21–36; Richard E. Nisbett and Timothy D. Wilson, “Telling More Than We Can Know: Verbal Reports on Mental Processes,”Psychological Review 84, no. 3 (1977): 231; Daniel M. Wegner and Thalia Wheatley,“Apparent Mental Causation: Sources of the Experience of Will,”American Psychologist 54,no. 7 (1999): 480–92; Benjamin Libet, “Do We Have Free Will?,”Journal of Consciousness Studies 6, no. 8–9 (1999): 47–57; Jonathan Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment,”Psychological Review 108, no. 4(2001): 814–34; Joshua D. Greene, “The Secret Joke of Kant’s Soul,”Moral Psychology 3(2008): 35–79; William Hirstein, ed., Confabulation: Views from Neuroscience, Psychiatry,Psychology, and Philosophy (New York: Oxford University Press, 2009); Michael Gazzaniga,Who’s in Charge? Free Will and the Science of the Brain (London: Robinson, 2012); Fiery Cushman and Joshua Greene, “The Philosopher in the Theater,” in The Social Psychology of Morality: Exploring the Causes of Good and Evil, ed. Mario Mikulincer and Phillip R. Shaver(Washington, D.C.: APA Press, 2011), 33–50.

1. The EU Artificial Intelligence Act, European Commission, April21, 2021,artificialintelligenceact.eu/the-act/. 该法案规定：^“以下人工智能业务应予以禁止：_……（c）公共机构或其代表将人工智能系统用于销售、服务或使用，以在一定时间内根据自然人的社会行为，及其已知或预测的个人特征，对其进行评分或分类，其社会评分导致以下其一或两种情形：（i）自然人或其所属群体受到有害或不利对待，且情况与当初生成或收集数据时的情况无关；（ii）导致自然人或其所属群体受到不合理的，或与其社会行为及严重性不成比例的有害或不利对待。

1. Alessandro Bessi and Emilio Ferrara, “Social Bots Distort the 2016 U.S. Presidential Election Online Discussion,”First Monday 21, no. 11 (2016): 1–14.

1. 参见：Hannes Kleineke, “The Prosecution of Counterfeiting in Lancastrian England,” in Medieval Merchants and Money: Essays in Honor of James L. Bolton, ed. Martin Allen and Matthew Davies (London: University of London Press, 2016), 213–26; Susan L’Engle, “Justice in the Margins: Punishment in Medieval Toulouse,”Viator 33 (2002): 133–65; Trevor Dean, Crime in Medieval Europe, 1200—1550 (London: Routledge, 2014).

1. Mariam Orabi et al., “Detection of Bots in Social Media: A Systematic Review,”Information Processing and Management 57, no. 4 (2020), article 102250; Aaron J. Moss et al., “Bots or Inattentive Humans? Identifying Sources of Low-Quality Data in Online Platforms”(preprint, submitted 2021), osf.io/preprints/psyarxiv/wr8ds; Max Weiss, “Deepfake Bot Submissions to Federal Public Comment Websites Cannot Be Distinguished from Human Submissions,”Technology Science , Dec. 17, 2019; Adrian Rauchfleisch and Jonas Kaiser,“The False Positive Problem of Automatic Bot Detection in Social Science Research,”PLOS ONE 15, no. 10 (2020), article e0241045; Giovanni C. Santia, Munif Ishad Mujib,and Jake Ryland Williams, “Detecting Social Bots on Facebook in an Information Veracity Context,”Proceedings of the International AAAI Conference on Web and Social Media 13(2019): 463–72.

FiveThirtyEight, Sept. 27, 2021, fivethirtyeight.com/features/whybipartisanship-in-the-senate-is-dying/.

1. Gregory A. Caldeira, “Neither the Purse nor the Sword: Dynamics of Public Confidence in the Supreme Court,”American Political Science Review 80, no. 4 (1986): 1209–26, doi.org/10.2307/1960864.

第十章

极权主义：所有力量归于算法？

说到新计算机网络的伦理与政治议题，讨论常常集中于新计算机网络会如何影响民主政权的命运。而专制与极权政权主要被用来当作反乌托邦的例子是^“我们^”人类如果没有好好管理计算机网络，^“我们^”可能走向的未来。但到₂₀₂₄年，^“我们^”人类其实相当部分的人口活在专制或极权政权之下，而且这些政权成立的时间多半是在计算机网络兴起之前。如果真的要了解算法与人工智能对人类的影响，除了该问它们会对美国与巴西这样的民主政体有何影响，也得看看它们对那些专制政体有何意义。

前几章曾解释，前现代时代由于信息技术的限制，不可能出现大规模民主或大规模极权。不论是中国的汉朝还是₁₈世纪沙特阿拉伯的德拉伊耶酋长国，这样的大型政体通常都属于有限的专制政体。到₂₀世纪，新的信息技术让大规模民主与大规模极权都得以兴起，但此时的极权有一个严重劣势：极权政权希望能把所有信息集中到一个中枢来处理。电报、电话、打字机与无线电等技术虽然有利于信息的集中，却无法自行进一步处理信息、做出决策。这还只是人类有能力做的事。

流向中心的信息越多，处理起来就越困难。极权统治者与政党常常会犯下一些代价高昂的错误，而极权制度又欠缺发现并修正这些错误的机制。相较之下，民主制度是将信息（与决策权）分散到许多不同的机构与个人手中，不但能够更有效率地处理大量数据，而且如果某个机构做了错误的决定，其他机构也可以提出修正。

然而，机器学习算法的兴起，可能正是独裁者们已经等了太久的好消息。人工智能让科技力量的天平开始倒向极权制度那一方。就事实来说，人类如果被大量数据淹没，常常就会不知所措、开始犯错，但人工智能在接触大量数据之后，效率却常常越来越高。于是，人工智能似乎也倾向于将信息与决策都集中在一处。

目前即使是在西方国家，谷歌、脸书与亚马逊等少数企业也在各自领域处于垄断地位，一部分原因在于人工智能的天平倒向这些行业巨头。对餐饮这样的传统行业来说，规模算不上是压倒性的优势。以全球连锁的麦当劳为例，它每天为超过₅₀₀₀万人提供餐饮，凭借规模在成本、品牌等方面拥有诸多优势。但你还是可以在麦当劳附近开一间本地餐厅，不用担心活不下去。虽然每天可能只接待₂₀₀位顾客，但你还是有机会把食物做得比麦当劳更美味，让顾客更满意，成为回头客。

但在信息市场，事情就不一样了。谷歌搜索引擎每天的使用人数为₂₀亿\~₃₀亿，一天的总搜索量高达₈₅亿次。假设有一家本地的新兴搜索引擎公司想要与谷歌竞争，只能说门儿也没有。谷歌已经有了几十亿个用户，这让谷歌得以取得更多数据，把算法训练得更好，于是又能吸引到更多的用户，再用来训练下一代的算法，就这样不断循环。因此，₂₀₂₃年谷歌在全球搜索引擎市场的占有率高达_91.5%。

想想遗传学的例子。假设几个不同国家的企业都想研发出一套算法，找出基因与各种疾病的关联。新西兰的总人口为₅₀₀万，而且隐私法规严格，基因数据与医疗记录不易获取。中国有_14.1亿人，隐私法规也较为宽松。你觉得哪个国家的企业更有机会研发出一套遗传算法？巴西如果打算购买一套遗传算法，提供给国内的医疗保健体系使用，比起向新西兰购买，它会有强烈的动机选择准确度高得多的中国算法。如果这套中国算法又能用巴西超过₂亿人的数据继续精益求精，品质就会越来越好，得到更多国家的青睐。很快地，全球大部分的疾病信息都会流向中国，进而让这套遗传算法完全没有对手。

想把所有信息与权力都集中在一个地方，曾经是₂₀世纪极权政权的致命弱点，但到了人工智能时代却可能成为决定性的优势。与此同时，我们前面也提过，人工智能还能让极权政权建立全面监控制度，使人民几乎不可能反抗。

对于这种极权倾向，有些人相信可以用区块链技术制衡，毕竟区块链在本质上有利于民主、不利于极权。要在区块链系统做决策，需要得到_51%的用户的批准。虽然这听起来很民主，但区块链技术有一项致命缺陷，问题出在^“用户^”这个词。某人如果有₁₀个账号，就会被算成₁₀个用户。如果政府控制了_51%的账号，就能自 己构成_51%的用户。目前在区块链网络已经有一些例子，政府自 己就是_51%的用户。

如果政府成为区块链_51%的用户，它除了能控制区块链的现在，还能控制区块链的过去。从古至今，专制者一直都希望拥有改变过去的权力。罗马皇帝就常常下令进行^“记忆抹杀^”——把对手与敌人从世人的记忆里抹除。例如皇帝卡拉卡拉，在暗杀了弟弟兼王位竞争对手盖塔之后，就曾经试着抹除所有关于盖塔的记忆。刻有盖塔名字的铭文被凿除，印有盖塔肖像的硬币被熔化，就连提到盖塔的名字都会被判死刑。一幅在那个时代幸存下来的画作《塞维鲁一家圆形画》，绘制于两兄弟的父亲塞普蒂米乌斯·塞维鲁统治期间，原本画了塞维鲁、盖塔两兄弟，以及两兄弟的母亲尤莉亚·多姆娜一家四口。但后来，盖塔的脸不但被削掉，还被抹上排泄物，在原本该是他脸部的位置，法医发现了干燥的粪便碎屑。

至于现代的极权政权，同样对于改变过去乐此不疲。这样大规模的记忆抹除，在当时要耗费大量人力，但在区块链上，要改变过去就容易得多了。政府只要控制了_51%的用户，轻轻一按，就能让某些人从历史中完全消失。

机器人程序的监狱

虽然人工智能有许多方面有利于中央集权，但专制与极权政权在人工智能面前也并非无往不利。首先，独裁政权并没有控制非生物行为者的经验。专制信息网络是以恐怖统治为基础的，但计算机并不怕被关进监狱或被杀。要是某国互联网上有一个聊天机器人程序提到该国在他国犯下的战争罪行，讲了一个会冒犯该国领导人的笑话，又或者批评了该国的某个政党多么腐败，该政权能对这个聊天机器人程序做什么？特工没办法把这个程序关起来，没办法折磨它，也没办法威胁它的家人。该国政府当然能够封锁或删除这个程序，并且试着去找出并惩罚写出这个程序的人，但总之要比平常教训人民困难多了。

过去，计算机还无法自行生成内容，无法进行有智能的对话，比如在VKontakte和Odnoklassniki这些社交平台上，只有人类有能力提出对政府的异议。然而，如果网络空间被塞进了几百万个机器人程序，都能生成内容、进行对话，还能自行学习与发展，情况将会如何？这些机器人程序的设计者可能是外国人士或异见分子，希望传播不同于官方的想法，而且当局对此或许无计可施。就当局的立场而言，如果在授权机器人程序运作之后，这些程序收集了关于该国现状的各种信息，找出其中的模式，并逐渐自行发展出与政府不同的观点，情况岂不是更糟？

这就是一种一致性问题。虽然人类工程师可以尽最大努力打造出向政府看齐的人工智能，但鉴于人工智能具有自我学习与改变的能力，难保哪天走向政府不乐见的方向。特别有趣的一点在于，正如奥威尔在《一九八四》所解释的，极权信息网络常常都需要依赖双言巧语（doublespeak），例如一些极权国家的宪法会做出许多崇高的承诺，比如^“人人均应享有思想及言论自由^”“人人均应享有寻求、接收、传递、生产与散播信息的自由^”“大众媒体之自由应受保障，不得实施审查制度^”等等，但几乎没有人会天真到相信这些承诺的字面意义，而计算机并不懂这样的双言巧语。如果要求聊天机器人程序遵守极权国家的法律与价值观，它可能会在读了宪法之后，认定言论自由是该国的核心价值，而在该国的网络空间待上几天，观察整个国家信息领域发生的种种事情之后，这个聊天机器人程序就可能会开始批评该国的政权违反了言论自由这项核心价值。人类虽然也会注意到这些矛盾，但会因为恐惧而不敢明说。聊天机器人程序却是看到什么说什么，哪有什么不敢说的呢？人类工程师该怎样才能向聊天机器人程序解释，虽然宪法明文保障每位公民的言论自由，禁止实施审查制度，但聊天机器人程序其实不该相信宪法，也不能提理论与现实之间的差距？就像曾经有人跟我说的，在极权国家长大的人，相信问题会带来麻烦。但在训练算法的时候，如果要它相信^“问题会带来麻烦^”这种原则，算法又要怎么学习与发展？

最后，政府如果采取了某项极为失败的政策，后来又改变心意，常常就会把失败推到别人头上，掩饰自 己的过错。而人类又常常是经过惨痛的教训，才能学会忘记那些给自 己找麻烦的事实。但我们要怎样才能训练聊天机器人程序，要它赶快忘记那些今天被批得一文不值，但在短短一年前还是国家官方立场的政策？这将是极权政权难以应对的重大技术挑战，特别是在聊天机器人程序越来越强大，也越来越不透明的情况下。

当然，民主政权也会有类似的问题，聊天机器人程序可能会说一些政府所不乐见的话，或者提出一些危险的问题。如果微软或脸书工程师已经尽了最大努力，聊天机器人程序却还是散播种族歧视的言论，该怎么办？民主政权的优势，在于就算真的遇上算法不受控制的情况，处理起来也能够较有余裕。因为民主政体^“藏在柜子里的骷髅^”可能会少一些，所以就算碰上反民主言论，大体上也能够包容。但极权政权简直就像在柜子里藏了整个见不得光的墓园，因此完全无法承受任何批评，这种时候，会提出异议的机器人程序就会形成极为严重的挑战。

算法的傀儡

长期而言，极权政权还可能遇上更大的危险：算法并不是仅仅批评这些政权，而是直接控制了这些政权。纵观历史，专制者最大的威胁常常来自下属。第五章提到过，没有哪个罗马皇帝是被民主革命赶下台的，都是被下属推翻或成了傀儡。要是₂₁世纪的专制者把太多权力交给计算机，就有可能成为计算机的傀儡。独裁者最不乐见的，就是创造出比自 己更强大的或自 己控制不了的力量。