智人之上：从石器时代到AI时代的信息网络简史

1. David E. Murphy, What Stalin Knew: The Enigma of Barbarossa (New Haven, Conn.: Yale University Press, 2005), 194–260; S. V. Stepashin, ed., Organy gosudarstvennoi bezopasnosti SSSR v Velikoi Otvechestvennoi voine: Sbornik dokumentov [The organs of state security of the USSR in the Great Patriotic War: A collection of documents], vol. 2, book 2(Moscow: Rus’, 2000), 219; A. Artizov et al., eds., Reabilitatsiia: Kak eto bylo. Dokumenty Prezidiuma TsK KPSS i drugie materialy [Rehabilitation: How it was. Documents of the Presidium of the CC CPSU and other materials] (Moscow: Mezhdunarodnyi Fond“Demokratiia,” 2000), 1:164–66; K. Simonov, Glazami cheloveka moego pokolennia.Razmyshleniia o I. V. Staline [Through the eyes of a person of my generation. Reflections on I.V.Stalin.] (Moscow: Kniga, 1990), 378–79; Montefiore, Stalin , 305–6; David M.Glantz, Colossus Reborn: The Red Army at War, 1941—1943 (Lawrence: University Press of Kansas, 2005), 715n133.

1. McMeekin, Stalin’s War, 295.

1. Ibid., 302–16.

第二部分非生物网络

在能够自 己追求目标_、

自行做出决策的计算机出现之后

人类信息网络的基本结构就改变了

第六章新成员：与众不同的计算机

几乎所有人都已经发现，我们正生活在一场前所未有的信息革命之中。但这到底是一场怎样的革命？最近这几年，太多突破性的发明如洪水般滚滚而来，以至于我们很难判断到底是什么推动了这场革命。是互联网？智能手机？社交媒体？区块链？算法？还是人工智能？

所以，在讨论目前这场信息革命的长期影响之前，让我们先回顾一下它的基础。这场革命的种子是计算机，至于其他一切，从互联网到人工智能，都只是计算机的副产品。计算机诞生于₂₀世纪₄₀年代，一开始就只是个能够进行数学运算的笨重的电子机器，但计算机后续的发展速度惊人，形式不断创新，也发展出各种了不起的全新功能。计算机的迅速发展，让人很难定义计算机的本质与功能。人类一再声称，有些事情是计算机永远做不到的，无论是下棋、开车还是写诗，但事实证明，原来^“永远^”也不过就是几年。

本章的最后，我们会讨论^“计算机^”“算法^”“人工智能^”这几个词之间的确切关系，但目前请先让我们对计算机的历史有多一点儿的了解。就目前而言，我们可以简单说计算机本质上就是一台机器，但有可能做到两件了不起的事情：一是它自 己可以做决定，二是它可以创造新的想法。计算机刚被发明出来的时候，当然离这种能力还差得太远，但计算机科学家与科幻小说家已经清楚地看到了这样的潜力。早在₁₉₄₈年，艾伦·图灵就已经在探索是否能打造他所谓的^“智能机器^”；到₁₉₅₀年，他推测计算机最终应该能像人类一样聪明，甚至能够伪装成人类。在₁₉₆₈年，当时的计算机连跳棋都赢不了人类，但在《₂₀₀₁太空漫游》中，亚瑟·克拉克与斯坦利·库布里克已经想象出^“哈尔₉₀₀₀^”这个角色，这是一个会反叛人类创造者的超智能AI。

如今智能机器崛起，能够自 己做决定、自 己创造新的想法。这也是史上第一次，权力从人类转移到其他物种手中。在过去，十字弓、火枪和原子弹虽然能够取代人类的肌肉来杀人，却无法取代人类的大脑来决定要杀谁。被投在广岛的原子弹^“小男孩^”，爆炸威力相当于₁₂₅₀₀吨的TNT炸药，但脑力却是零，什么都无法决定。

计算机就不同了。就智能而言，计算机不但远远超越了原子弹，更超越了泥版、印刷机、收音机这些所有过去的信息技术。泥版能够储存关于税务的信息，但无法自行决定要收多少税，也无法发明某种全新的税目。印刷机能够复制《圣经》这样的信息，但无法决定《圣经》要收录哪些文本，也无法对这本宗教经典加上新的注释。收音机能够传播政治演讲与交响乐等信息，但无法决定播放哪些演讲或交响乐，也无法创作演讲稿或交响乐。但这一切对现在的计算机来说都已经能够做到。过去的印刷机或收音机只是人类手中的被动工具，但计算机正在成为一种主动行为者，它能够摆脱人类的控制，超越人类的认知，主动塑造社会、历史与文化。

说到计算机所掌握的新力量，一个典型案例就是社交媒体算法在许多国家如何散播仇恨、破坏社会凝聚力。其中一个最早也是最著名的事件发生在₂₀₁₆^—₂₀₁₇年：脸书算法助长了缅甸有关罗兴亚人的暴力冲突。

缅甸在₂₁世纪₁₀年代初期似乎前景非常乐观。经过数十年的严酷军事统治、严格审查与国际制裁，缅甸终于迎来自由化的时代：选举得以举行，制裁得以解除，国际援助与投资纷纷涌入。脸书也成了新缅甸极为重要的一位参与者，为数百万缅甸人免费提供了过去难以想象的信息资源。然而，政府放松管制与审查制度也加剧了种族紧张局势，特别是在占多数的信仰佛教的缅族人与占少数的信仰伊斯兰教的罗兴亚人之间。

罗兴亚人信奉伊斯兰教，居住在缅甸西部的若开邦。至少从₂₀世纪₇₀年代开始，缅甸军政府和占多数的佛教徒就与罗兴亚人时不时爆发暴力冲突。₂₁世纪₁₀年代初期的民主化进程曾让罗兴亚人看到一线曙光，他们希望自 己的处境也能有所改善，但事情反而变得更糟，宗派暴力与针对罗兴亚人的浪潮一波波袭来，许多正是受到脸书上假新闻的鼓动。

2016^—2017年，一个名为若开罗兴亚救世军（ARSA）的小型极端组织发动了一系列袭击，希望在若开邦建立一个独立的伊斯兰国家，他们杀害、绑架了几十名非穆斯林平民，还袭击了多个军事前哨。作为回应，缅甸政府军与佛教极端分子发动了一场针对整个罗兴亚人社群的种族清洗，摧毁数百个罗兴亚人村庄，杀害了₇₀₀₀\~₂₅₀₀₀名手无寸铁的平民，强奸或虐待了₁₈₀₀₀\~₆₀₀₀₀名男女，并且粗暴地将大约₇₃万名罗兴亚人赶出缅甸。这些暴力活动是出于对所有罗兴亚人的强烈仇恨，而这种仇恨又是出于对罗兴亚人的负面宣传，其中大部分是在脸书上传播的。到₂₀₁₆年，脸书已经是缅甸数百万人的主要新闻来源，也是缅甸最重要的政治动员平台。

一位叫迈克尔的援助人员于₂₀₁₇年住在缅甸，他谈到了当时脸书页面动态消息的状况：^“网络上对罗兴亚人的仇恨愤怒简直难以置信，不管是数量还是暴戾的程度，简直是铺天盖地_……那就是当时缅甸人民动态消息的全部样子。它不断强化一种这些人都是恐怖分子的观念，觉得他们不配享有权利。^”在当时的脸书上，除了有若开罗兴亚救世军真实暴行的报道，还充斥着各种假新闻，内容都是各种凭空捏造的^“暴行^”，以及想象准备实施的^“恐怖攻击^”。民粹主义阴谋论声称，大多数罗兴亚人根本不是缅甸人，而是新近从孟加拉国涌入的移民，这些人准备带头发起一场反佛教圣战。佛教徒在缅甸人口中占了将近九成，却十分担心自 己会被取代，或成为少数。要不是因为那些宣传，若开罗兴亚救世军这种乌合之众发起的零星攻击，根本不可能导致对整个罗兴亚社群的全面进攻。脸书的算法在整场宣传活动里扮演着重要角色。

脸书的算法决定了要推广哪些帖子。有机构研究发现：^“算法主动在脸书平台上强化、推广的那些内容，煽动了针对罗兴亚人的暴力、仇恨与歧视。^”联合国的事实调查团在₂₀₁₈年得出的调查结论也认为，通过散播充满仇恨的内容，脸书在这场冲突中扮演了^“决定性的角色^”。

读者可能会觉得，把这么多责任都归咎于脸书算法，或者更广泛地说，归咎于新的社交媒体技术，真的合理吗？如果海因里希·克雷默用印刷机来散播仇恨言论，难道该怪谷登堡和印刷机吗？如果₁₉₉₄年卢旺达极端分子运用广播来号召民众屠杀图西族人，难道要把责任归咎于无线电技术吗？同样，如果有些人在₂₀₁₆^—₂₀₁₇年选择用他们的脸书账号散播对罗兴亚人的仇恨，为什么我们要怪这个平台呢？

脸书本身正是以这个理由来转移批评的。脸书只公开承认，在₂₀₁₆^—₂₀₁₇年，^“对于防止我们的平台被用以挑起分裂、煽动线下暴力，我们做得还不够^”。虽然这个声明听起来像在认错，实际上却把散播仇恨言论的大部分责任转移到平台用户身上，并暗示脸书犯的错顶多就是一种无作为，即未能有效监管用户生产的内容。然而，这种说法等于完全无视脸书算法犯下的错误。

这里的关键点是，社交媒体算法与印刷机或广播无线电有着根本的差异。在₂₀₁₆^—₂₀₁₇年，脸书算法是自 己做出了主动且致命的决定。与其说它们像印刷机，不如说它们更像报纸主编。正是脸书的算法，次又一次向数百万缅甸人推送充满仇恨的帖子。当时在缅甸国内，其实也有其他声音在争取民众的关注。₂₀₁₁年军事统治结束后，缅甸出现了诸多政治与社会运动，其中很多抱持温和的观点。比如在密铁拉爆发种族暴力事件期间，佛教住持维图达禅师就在寺院里庇护了₈₀₀多名穆斯林。民众包围寺院，要求他交出那些穆斯林，但住持提醒他们佛教徒应该慈悲为怀。他在后来的一次采访中回忆道：^“我告诉他们，如果他们要带走这些穆斯林，那么必须把我也杀了。 ”

在争夺民众注意力的网络大战中，算法成了决定胜负的因素。算法能够选择让哪些内容出现在用户动态消息的顶端、推广哪些内容，以及推荐用户加入哪些脸书社团。算法本来可以选择推荐慈悲的布道或者烹饪课程，但最后却决定散播充满仇恨的阴谋论。这些自上而下的推荐就可以大大左右民众的想法。别忘了，《圣经》最早也就是一份推荐阅读清单。通过推荐基督徒阅读有厌女倾向的《提摩太前书》，而不是比较宽容的《保罗与特克拉行传》，亚大纳西主教与其他教父就改变了历史的演进方向。在《圣经》这个案例中，真正终极的权力并非掌握在各卷内容的作者手中，反而是在选定这份推荐清单的人手里。而₂₁世纪₁₀年代社交媒体算法所掌握的正是这样的力量。援助人员迈克尔谈到这些算法的影响时说：^“如果有人发表了充满仇恨或煽动的言论，会得到最有力的推广，民众看到的就是最邪恶的内容_……动态消息里完全不会看到呼吁和平或冷静的内容。

有时候，算法做的不仅仅是推荐。就连到了₂₀₂₀年，缅甸一些煽动种族清洗运动的行为早已受到全球谴责，此时脸书算法不但继续在推荐这些内容，还会自动播放相关视频。缅甸的脸书用户可能原本选择观看了某个视频，里面是一些温和的、与那些煽动行为无关的内容，但等到视频播放完毕，脸书算法会立刻自动播放充满仇恨的视频，以维持用户的黏性。以那些煽动行为的某个视频为例，脸书内部研究估计，该视频的观看量有高达_70%来自这样的算法带来的自动播放。同一项研究也估计，在缅甸民众观看的所有视频中，有_53%是由算法自动播放的。换句话说，并不是民众选择自 己要看什么，而是算法为他们做了决定。

但是为什么算法决定助长的是愤怒而不是慈悲呢？就算是对脸书批评最严厉的人，也不会觉得脸书的人类管理者就是想煽动大屠杀。脸书位于加州的那些高管非但对罗兴亚人并无恶意，甚至几乎不知道罗兴亚人的存在。事情的真相更为复杂，但可能也更令人震惊。在₂₀₁₆^—₂₀₁₇年，脸书的商业模式依赖于提升用户参与度，也就是用户在脸书上所花的时间与所做的活动（例如点赞、分享帖子给朋友）。只要用户参与度增加，脸书就能收集更多数据，卖出更多广告，在信息市场占据更大份额。此外，提升用户参与度能给投资人留下好印象，从而有利于推高脸书股价。用户在脸书停留的时间越久，脸书就越有钱。根据这种商业模式，人类管理者给脸书算法定了一个首要目标：提升用户参与度。随后，算法用几百万用户做实验，发现最能提升参与度的办法就是让人愤慨。比起慈悲的布道，充满仇恨的阴谋论更能提升人类的参与度。所以，为了追求用户参与度，算法就做出了一个致命决定：传播愤怒。

种族冲突从来都不是单方的错，是许多方面都出了问题，有许多责任方必须共同承担。有一点很清楚，对罗兴亚人的仇恨早在脸书出现在缅甸之前就已存在，而之所以会发生₂₀₁₆^—₂₀₁₇年的暴行，最大的责任应落在相关的责任人身上。至于脸书的工程师与高管也该承担部分责任，他们写了算法的代码，赋予算法太多的权力，而没能对它们好好地管控。很重要的一点是，算法本身也逃不了干系。通过反复实验，算法学到了愤怒会提升参与度，而且在没有上级明确指示的情况下，算法自 己决定要助长愤怒。这正是人工智能的典型特征^——虽然它们是机器，但它们拥有自 己学习与行动的能力。即使我们说这里算法只需要承担_1%的责任，这也会是历史上第一个^“部分归咎于非人类智能决策^”的种族冲突事件。而且这不会是最后一次。现在，算法已经不局限于在有血有肉的极端分子创造出假新闻与阴谋论之后，再加以推送传播，在₂₁世纪₂₀年代初，算法已经能够自行制造假新闻与阴谋论。

关于算法影响政治的能力，还有许多值得一提。特别是许多读者或许不认为算法已经能够独立决策的事实，并且可能坚定地认为算法所做的一切都出于人类工程师编写的程序和人类高管决定的商业模式。但本书想提出不同的观点。比如，人类士兵虽然也是由遗传密码塑造的，也听从上级军官发出的指令，但他们仍然能够做出独立的决策。人工智能算法也是如此。人工智能算法能够自 己学会没有写进程序里的东西，也能够自 己决定人类高管并未预见的事情。这正是人工智能革命的本质：无数能力高强的人工智能行为者正如洪水席卷而来，淹没全世界。

我们到第八章还会再回来看看其中许多议题，更详细地审视这场针对罗兴亚人的运动与其他类似的悲剧。但在这里，我们可以先简单地把这场暴力冲突看成煤矿里的金丝雀。₂₁世纪₁₀年代末发生在缅甸的种种事件显示，非人类智能做出的决策已经能够塑造重大的历史事件。人类正面临着对人类未来失去控制的危险。目前正在出现一种全新的信息网络，其背后由一套高深莫测的智能决策和目标控制。人类目前在这个信息网络里仍然扮演着核心角色，但很有可能正在被边缘化，到最后整套网络甚至可能不需要人类就能正常运作。