智人之上：从石器时代到AI时代的信息网络简史

就把错推给人类吧

我们已经到了一个历史转折点：当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。第六章已经提及这个论点，当时曾简单提及脸书在煽动罗兴亚人冲突中扮演的角色。但也如当时所言，许多人（包括脸书、YouTube与其他科技巨头的部分高管与工程师）对这个论点并不赞同。但由于这是本书的一个核心论点，因此我们最好再深入研究一下，详细地谈谈各方反对这个论点的原因。

脸书、YouTube、TikTok等平台的管理者为了找借口，常常会说这些问题不是算法带来的，而是源于人性。他们表示，人性是各个平台上一切仇恨与谎言的源头。这些科技巨头认为，因为他们信守言论自由的价值观，所以审查人们表达真情实感真的很难。例如，YouTube原首席执行官苏珊·沃西基在₂₀₁₉年解释说：^“我们对这件事的思考方式是：^‘这个内容有没有违反我们的某项政策？是否违反了对于仇恨、骚扰等方面的规定？^’如果它确实违反了，我们就会将其删除。其实我们的政策越来越严。当然，我们也会受到批评。言论自由的界限到底应该划在哪里？要是划得太严，是不是就会抹除社会应该听到的某些声音？

脸书一位发言人在₂₀₂₁年₁₀月表示：^“正如所有其他平台，我们一直得在言论自由与有害言论、安全与其他议题之间做出艰难决定_……但像这些社会界限，最好都交给民选的领导者来判断。^”于是，科技巨头不断转移讨论焦点，说自 己只是在人类用户制作出内容之后，担任版主这样的角色，很辛苦，而且大多数时候发挥的是积极作用。这让人觉得似乎问题都是人类自 己造成的，算法在尽力限制人性恶的一面。他们却绝口不提自 己的算法会主动助长某些人类情绪，同时抑制另一些人类情绪。难道他们真的没看到这些情形吗？

当然不是。早在₂₀₁₆年，脸书的一份内部报告就发现^“在加入极端组织的人当中，有_64%是因为我们的推荐工具才加入极端组织的_……我们的推荐系统助长了这个问题^”。^“吹哨人^”脸书前员工弗朗西丝·豪根揭露了脸书在₂₀₁₉年₈月的一份内部机密备忘录，里面提及：^“我们有许多不同来源的证据显示，脸书及其^‘应用程序家族^’上的仇恨言论，以及分裂性政治言论与错误信息，正在影响世界各地的社会。我们也有令人信服的证据指出，我们的核心产品机制，如病毒式传播、推荐与提升用户黏性，正是此类言论在脸书平台盛行的重要原因。

₂₀₁₉年₁₂月流出的另一份文件则提及：^“病毒式传播不同于我们和好友或家人的沟通，而是一种由我们带到许多生态系统之中的新事物_……这种事之所以发生，是因为我们出于商业目的而刻意推动的。^”文件指出：^“以参与度为标准对有较高风险的话题（如健康或政治）进行排序，会导致不正当激励与诚信问题。^”它还提及，或许最致命的一点在于^“我们的排序系统包括各种具体的独立预测，不仅预测你可能参与哪些内容，还预测你可能传播哪些内容。遗憾的是，研究显示，让人感到愤慨的内容与错误信息更有可能像病毒那样传播^”。这份文件提出一条重要建议：由于平台用户多达数百万人，脸书不可能删除所有有害内容，但至少应该^“别再让有害内容得到非自然传播而得到放大^”。

正如一些国家的领导人，科技企业正在做的并不是找出关于人类的真相，而是给人类强加一个扭曲的新秩序。人类是非常复杂的生物，良好社会秩序会培养人类的美德，同时减少人类的消极倾向。然而社交媒体算法只把人看成矿井，想要^“开采^”更多的注意力。人类有丰富的情感，如爱、恨、愤慨、喜悦、困惑，但算法把一切简化成一件事参与度。无论是₂₀₁₆年在缅甸、₂₀₁₈年在巴西，还是在许多其他国家，算法在对所有视频、帖文或其他内容进行评分时，只看人们观看了几分钟、分享了几次。能够让人看一小时的谎言或仇恨内容的评分就是高于只让人看₁₀分钟的有关真相或令人产生同情心的内容，前者甚至比睡一小时还重要。即使事实摆在眼前，即谎言与仇恨常常会对心理与社会造成破坏，而真相、同情心与睡眠是人类幸福所不可或缺的，算法也完全不考量这一点。正因为对人类的理解如此狭隘，所以算法创造了一个新的社会系统，鼓励我们顺从人类最基本的本能，同时阻碍我们发挥人类完整的潜能。

随着各种不良影响的日益显现，科技巨头也不断被警告要注意这些影响，但因为它们坚信天真的信息观，所以未能进行干预。明明平台上充斥着各种谎言与骇人听闻的内容，但企业高层还是认为只要让更多的人自由表达想法，真理就会占据上风。但事态并未如此发展。我们一次又一次看到，如果人们可以完全自由地表达自 己，真理常常会败下阵来。想让天平往有利于真理的方向倾斜，网络就必须发展并维持强大的自我修正机制，让说真话的人得到奖励。自我修正机制需要付出相当大的代价，但要是真想得到真理，这是必要的代价。

硅谷以为自 己不需要在意这条历史规律，而各个社交媒体平台也一直缺乏自我修正机制。₂₀₁₄年，脸书只有一位缅甸语内容管理者，负责监控整个缅甸的活动内容。有些人已经注意到了缅甸的状况，警告脸书必须加强内容审核，但脸书不以为意。比如出身于缅甸农村的缅裔美籍工程师暨电信业高层佩因特·吞就曾多次致信脸书高层警惕这种危险。早在₂₀₁₄年₇月₅日，距离种族冲突还有两年，她就在一封电子邮件中提出预言般的警告：^“令人痛心的是，脸书目前在缅甸被使用的

方式，就跟广播在卢旺达种族灭绝的那个黑暗时期被使用的方式一样。^”而脸书却没有采取任何行动。

即使对罗兴亚人的攻击不断升温，脸书面临的批评排山倒海，它也拒绝聘请真正了解当地情况的人管理内容。因此，在得知有一群缅甸仇恨分子使用缅甸语^“kalar”一词作为对罗兴亚人的种族歧视称呼之后，脸书在₂₀₁₇年₄月的反应是完全禁止在脸书平台发布使用这个词的内容。但这暴露了脸书完全不了解当地情况与缅甸语。在缅甸语中，kalar只有在特定语境下才是一种种族歧视称呼，而在其他语境下则完全与种族歧视无关。比如缅甸语中^“椅子^”是kalar htaing，“鹰嘴豆^”则是kalar pae。佩因特·吞在₂₀₁₇年₆月写给脸书的邮件里就指出，禁止在脸书发文时使用kalar这个词，就像是禁止在写^“hello”时写出^“hell”（地狱）一样。但脸书还是继续无视自 己对当地专业人士的需求。截至₂₀₁₈年₄月，在缅甸的脸书用户数高达₁₈₀₀万，而脸书雇用的懂缅甸语的内容审核人员只有₅人。

各个社交媒体巨头所做的，不是投资推动鼓励说真话的自我修正机制，而是研发出前所未有的错误增强机制，鼓励谎言与虚构。脸书在2016年于缅甸推出的^“即时文汇^”（Instant Articles）项目，就是这种错误增强机制之一。当时为了提升参与度，脸书在提供新闻频道奖励时，只看频道的用户参与度（以点击次数与观看次数计算），而完全不管所谓的^“新闻^”是否真实。₂₀₂₁年的一项研究发现，在该项目启动前的₂₀₁₅年，缅甸脸书粉丝专页排名前十中有六个属于^“合法媒体^”。到₂₀₁₇年，在^“即时文汇^”的影响下，^“合法媒体^”粉丝专页在排名前十中只剩下两个。到₂₀₁₈年，前十大粉丝专页已经全部是假新闻与钓鱼标题网站。

该研究的结论是，在脸书推出^“即时文汇^”项目之后，^“一夜之间，缅甸到处涌现出做钓鱼标题的人。这些人知道怎样制作引人上钩、愿意参与的内容，他们每个月能赚几千美元的广告收入，相当于当地平均月薪的₁₀倍^——直接由脸书支付^”。由于脸书是当时缅甸最重要的网络新闻来源，也就对缅甸的整体媒体环境造成了巨大影响，^“在一个脸书等于互联网的国家，质量低劣的内容淹没了其他信息来源^”。脸书与其他社交媒体平台并不是有意要让假新闻与令人惊骇愤慨的内容充斥世界，但它们要求算法尽量提升用户参与度，最后就会造成这样的后果。

回顾缅甸那场悲剧，佩因特·吞在₂₀₂₃年₇月写邮件告诉我：^“我曾经天真地相信，社交媒体能够联结几十亿人的前额叶皮质，以此提升人类的意识，传播人类共同的观点。但我最后发现，社交媒体公司并没有动力联结人们的前额叶皮质，反而想联结边缘系统^——这对人类而言实在太危险了。 2

一致性问题

我并不是暗示过去、现在和未来，所有假新闻与阴谋论的传播都该由计算机网络负责。YouTube、脸书与其他社交媒体平台都表示，它们从₂₀₁₈年以来一直在调整算法，希望对社会负起更多责任。这究竟是否属实还很难说，特别是今天连^“社会责任^”一词都还没有一个清晰公认的定义。然而肯定能解决的一个问题就是别再为了追求用户参与度而污染整个信息领域。只要科技巨头真的想要设计出更好的算法，通常就能做到。₂₀₀₅年前后，垃圾邮件泛滥严重威胁到电子邮件的使用，当时就研发出强大的算法解决了这个问题。到₂₀₁₅年，谷歌声称旗下的网络邮件服务Gmail的算法能够成功拦截_99.9%的垃圾邮件，正常邮件被误判的比例也只有_1%。

我们也不该无视YouTube、脸书与其他社交媒体平台确实为社会带来的巨大效益。当然，大多数YouTube视频与脸书帖子都不是假新闻，也没有煽动种族灭绝。社交媒体确实扮演了重要角色，联结人民，让过去权利遭到剥夺的群体得以发声，组织重要的新运动与社群，也激励人类展现出一波前所未有的创意。在过去以电视为主流媒体的年代，常有人说观众只是^“沙发土豆^”：只会被动接受由少数天才艺术家创作的内容。脸书、YouTube与其他社交媒体平台唤起了这群^“土豆^”，让他们开始创作。社交媒体上的大部分内容（至少在强大的生成式人工智能兴起之前）都是用户自 己（加上他们的猫猫狗狗）制作的，而不是出自少数专业人士之手。

我也常常用YouTube与脸书和人联系。比如我就很感谢社交媒体让我认识了我的爱人，我们是在₂₀₀₂年于最早的一个社交媒体平台上认识的。对于这种散落各处的性少数群体，社交媒体真的带来了奇迹。同性恋男孩很少出生于同性恋家庭或住在同性恋社区。在互联网出现之前，除非直接搬到少数有同性恋文化、态度较为宽容的大都市，否则只是想要认识其他同性恋者就是一大挑战。₂₀世纪₈₀年代末到₉₀年代初，我在以色列一个仇视同性恋的小镇长大，连一个公开的同性恋者都不认识。而在₂₀世纪₉₀年代末到₂₁世纪初，对原本分散的性少数群体成员而言，社交媒体简直像一种前所未有的魔法，让我们能够找到对方、建立联系。

然而，我之所以要用这么长的篇幅谈论社交媒体^“用户参与度^”的难题，是因为这能显示计算机面临的一个更大的问题：一致性问题（又被称为^“对齐问题^”）。只要人类给计算机一个特定的目标，比如^“让YouTube流量增加到每天₁₀亿小时^”，计算机就会竭尽全力，以各种不同方式实现这个目标。但由于计算机的运作与人类大不相同，很可能所用的方法将完全出乎人类的意料，造成未曾预见的危险后果，而与人类最初确立的目标完全不一致。就算推荐算法已经不再鼓励仇恨，计算机的其他一致性问题还是可能引发相关灾难，其严重程度比起针对罗兴亚人的冲突可能有过之而无不及。计算机变得越强大、越独立，这种危险也越大。

当然，一致性问题不是什么新鲜事，也不是算法所独有的。早在计算机发明之前，一致性问题就已困扰人类几千年。比如以卡尔·冯·克劳塞维茨的战争理论为代表，现代军事思想也一直摆脱不了这种目的不一致的问题。克劳塞维茨是一位普鲁士少将，曾参加拿破仑战争，于₁₈₁₅年彻底击败拿破仑之后担任普鲁士战争学院院长，开始构思规模宏大的战争理论。他在₁₈₃₁年死于霍乱，妻子玛丽编辑了他未完成的手稿，并在₁₈₃₂^—₁₈₃₄年陆续出版《战争论》。

《战争论》提出了一套合乎理性的模型来解释战争，至今仍是主流的军事理论，书中最重要的一句格言就是^“战争无非是政治通过另一种手段的继续^”。这意味着战争不是情感的暴发，不是英雄的冒险，不是神祇的惩罚，甚至不是一种军事现象，而是一种政治工具。克劳塞维茨认为，军事行动必须与背后的某种整体政治目标一致，否则就是完全不理性的行为。

假设墨西哥正在考虑要不要大举入侵占领小小的邻国伯利兹。再假设，墨西哥经过详细的军事分析，认定如果开战，只要三天就能迅速取得决定性的胜利，彻底击溃伯利兹军队，攻下其首都贝尔莫潘。在克劳塞维茨看来，这样还不足以构成墨西哥入侵伯利兹的理性原因。只是确保军事上的胜利并没有意义，墨西哥政府该自问的关键问题是：这场军事上的胜利究竟能够实现什么政治目标？

历史上有许多军事上决定性的胜利最后却导致彻底的政治灾难。对克劳塞维茨来说，最明显的例子就发生在他身边：拿破仑的一生。没有人怀疑拿破仑的军事天才，讲到战术与战略，他定然是个中翘楚。然而，虽然他胜仗连连，一度攻下大片领土，却没能因此建立长久的政治成就。他征伐四方，只是让大多数欧洲列强群起联合反抗，加冕不过十年，帝国便轰然倒塌。

事实上，从长远来看，拿破仑连连得胜反而使法国从此走向下坡路。数个世纪以来，法国一直是欧洲地缘政治的一方霸主，主要原因就是意大利与德国没形成统一的政治实体。当时的意大利就像一锅大杂烩，包括几十个兵戎相向的城邦、封建公国与教会领地。德国则像一幅更奇怪的拼图，有₁₀₀₀多个独立政体，松散地集结在德意志民族神圣罗马帝国理论上的宗主权之下。₁₇₈₉年，根本无法想象德国或意大利入侵法国这种事，因为当时根本就没有德军或意军。

随着把帝国版图扩张到中欧与意大利半岛，拿破仑在₁₈₀₆年推翻神圣罗马帝国，而将许多较小的日耳曼与意大利公国合并，建立了莱茵邦联与意大利王国，希望将这些领土收归自 己的帝国。横扫各地的拿破仑大军也将现代民族主义与人民主权的理想传播到德意志与意大利的土地上。拿破仑认为这一切会让他的帝国更加强盛。但事实上，在传统结构被打破之后，日耳曼人与意大利人尝到了民族统一的甜头，拿破仑就这样在无意间奠定了德国统一（₁₈₆₆^—₁₈₇₁年）与意大利统一（₁₈₄₈^—₁₈₇₁年）的基础。两个民族国家的统一齐头并进，最后以德国在₁₈₇₀^—₁₈₇₁年普法战争击败法国而终于实现。面对国境东边这两个新近统一且民族主义高涨的强国，法国再也没能恢复过去的霸权地位。

另一个比较晚近的例子则是₂₀₀₃年美国入侵伊拉克，同样是赢了军事却输了政治。美国在重大战役中攻无不克，长期政治目标却是一事无成，没能在伊拉克建立亲美政权，也没能在中东建立有利于美国的地缘政治秩序。这场战争真正的赢家是伊朗。美国在军事上的胜利，让伊拉克从伊朗的死敌变成其附庸，从而大大削弱了美国在中东的地位，而伊朗则成了这里的霸主。

拿破仑与小布什都是一致性问题的受害者，自 己的短期军事目标与国家的长期地缘政治目标就是无法保持一致。克劳塞维茨的整部《战争论》其实就是在警告一件事：确立^“尽量得到最大的胜利^”这种目标，就和确立^“尽量提升用户参与度^”一样，太过短视近利。根据克劳塞维茨的模型，必须先确立明确的政治目标，才能让军队据此确立一套可以实现这个目标的军事战略。只要有整体的战略作为参考，低级军官也能在战场推导出理性的战术目标。这套战争模型在长期政策、中期战略和短期战术之间建构了一套明确的层级。所谓合乎理性的战术，就是要和战略目标一致；所谓合乎理性的战略，就是要和政治目标一致。即便一位基层指挥官，他的战术决策也必须符合整场战争的最终政治目标。

假设在美国占领伊拉克期间，一个美军连队遭到来自附近清真寺中的敌人的猛烈攻击。这位指挥官有几个战术决策选项：可以命令连队撤退，可以命令连队攻下清真寺，也可以命令坦克直接炸毁清真寺。他该怎么决定？

从纯粹军事的角度来看，这位指挥官最好的决定就是直接命令坦克炸毁清真寺。这样可以利用美军在火力上的战术优势，避免士兵面临生命危险，还能取得决定性的战术胜利。但从政治的角度来看，这可能会是最糟的决定。要是美军用坦克炸毁清真寺的视频流出，不仅会在伊拉克引起公愤，还可能激起整个伊斯兰世界的愤怒。攻下清真寺在政治上或许也不是个好决定，因为这不仅同样可能激起伊拉克人民的不满，还可能让美军付出生命的代价，进而削弱选民对战争的支持。考虑到美国这场战争的政治目标，最合乎理性的选择或许就是直接撤退，接受这场战术上的失败。

这样来看，对克劳塞维茨而言，所谓的合乎理性，就是目标与行动要有一致性。如果只追求战术或战略上的胜利，却造成与整体政治目标不一致，就不能说是合乎理性的选择。但问题在于，军队的官僚特质让他们很容易落入这种非理性陷阱。第三章提及，由于官僚制度必须将现实放进不同的抽屉，等于鼓励不惜牺牲整体更大的利益，只追求狭隘的目标。为了眼前狭隘的使命，官僚很有可能根本没意识到自 己的行为会造成怎样更广泛的影响，而且，要问官僚的行为是否与社会整体利益一致，向来都不是个简单的问题。军队的运作如果需要冗长的官僚流程（所有现代军队都是如此），那么在战场指挥连队的上尉和于遥远的办公室里制定长期政策的总统之间就会出现巨大的鸿沟。上尉所做的决定，很有可能现场来看合理，实际上却有损战争的最终目的。

所以我们看到，人类早在计算机革命之前就已经遇到一致性问题。现代人想构建信息帝国时会遇到的困难，与过去人们想要征服四方时遇到的困难并没有太大不同。然而，计算机确实让一致性问题的本质出现了一些重要变化。过去，只是让人类官僚及人类士兵的行为向社会的长期目标看齐，就十分困难；在未来，要让^“算法官僚^”与自主武器系统向社会长期目标看齐，则更是难上加难。

回形针拿破仑

在计算机网络的背景下，一致性问题的危险特别高，原因之一就是这个网络的权力可能远远高于过去任何人类官僚机构。如果是超级智能计算机出现了目标与人类不一致的状况，就可能导致前所未有的灾难。哲学家尼克·波斯特洛姆₂₀₁₄年的著作《超级智能》中就有一个思想实验，试图说明这种危险。这本书类似歌德的《魔法师学徒》。波斯特洛姆要我们想象一下，有一家回形针工厂买了一台超级智能计算机，工厂的人类主管要它完成一项看来再简单不过的任务：生产回形针，越多越好！结果为了完成这个目标，这台回形针计算机征服了整个地球，杀死了所有人类，并派出远征队占领更多行星，再用取得的丰富资源在整个银河系设立无数个回形针工厂。

这个思想实验的重点在于计算机只是乖乖地做人类要它做的事（像歌德笔下的那把魔法扫帚）。它先^“意识^”到，要建造更多工厂、生产更多回形针，就需要电力、钢铁、土地与其他资源；接着又^“意识^”到，人类不太可能会放弃这些资源，于是这台超级智能计算机为了一心追求这个既定目标，在过程中直接消灭了所有人类。波斯特洛姆想强调的是，计算机的问题并不在于它们特别邪恶，而在于它们特别强大。而计算机越强大，我们就越要小心为其确立目标，务必让计算机与人类的终极目标完全一致。如果只是个口袋计算器，即使我们给它确定的目标与人类的很不一致，后果也微乎其微。但如果是超级智能计算机，如果确定了一个与人类利益极不一致的目标，就可能催生一个反乌托邦。

这个回形针思想实验或许听起来很离谱，似乎与现实完全脱节，但在波斯特洛姆于₂₀₁₄年提出这个想法的时候，要是那些硅谷高管注意了这个想法，他们或许就不会那么莽撞地要求算法尽量提升用户参与度。脸书与YouTube的算法的表现，与波斯特洛姆想象的算法一模一样。当被要求尽量生产回形针，而且产量越多越好的时候，算法就会想要把整个宇宙的物质都变成回形针，就算摧毁人类文明也在所不惜。当被要求尽量提高用户参与度，而且数字越高越好的时候，脸书与YouTube的算法就想要把整个^“社群宇宙^”都变成用户参与度，即使会破坏缅甸、巴西与许多其他国家的社会结构，也在所不惜。