智人之上：从石器时代到AI时代的信息网络简史

正因如此，AlphaGo在₂₀₁₆年₃月击败韩国围棋冠军李世石的时候，围棋界和计算机行业的专家都目瞪口呆。苏莱曼在₂₀₂₃年的著作《即将到来的浪潮》（The Coming Wave）中谈到了这类比赛最重要的时刻^——这个时刻重新定义了人工智能，许多学界与政界也认为这是人类历史的转折点。₂₀₁₆年₃月₁₀日，比赛进入第二局。

^“接着_……第₃₇手，^”苏莱曼写道：^“这一手完全说不通。AlphaGo显然被吓坏了，盲目用了显然必败的策略，任何职业棋手都不会这么下。现场直播的两位解说员都是排名顶尖的专业棋手，他们也认为这是^‘很奇特的一手^’，并认为这一手是^‘一个错误^’。这一手奇特到李世石足足花了₁₅分钟才做出回应，其间甚至得先离开棋局到外面走一走。我们在监控室看着，气氛紧张到非常不真实。但随着终局逼近，当初^‘错误^’的一手被证明至关重要。AlphaGo再度胜出。围棋的策略就这样在我们眼前被改写。我们的人工智能，找出了几千年来最杰出的棋手都没想到的棋步。 ,,

第₃₇手成为人工智能革命的象征，原因有二。第一，这让人看到人工智能本质上的非人类与难以理解。在东亚，围棋绝不只是一种游戏，而且是一种珍贵的文化传统。自古以来，合称^“四艺^”的琴、棋、书、画，是文人雅士必须熟习的技艺。₂₅₀₀年来，下过围棋的人不计其数，形成了各种思想流派，各有不同的策略与哲学。但过了几千年，人类心智还是只探索了围棋领域的部分区域，至于其他区域，人类连想都没想过，这些区域就一直是无人之境。但人工智能并不受人类心智的限制，于是得以发现并探索那些人所未见的区域。

第二，第₃₇手展示了人工智能的高深莫测。就算AlphaGo下了这手而赢得胜利，苏莱曼与团队也无法解释AlphaGo到底是怎么决定要下这一手的。就算法院命令DeepMind向李世石提供解释，这项命令也没有人能够执行。苏莱曼写道：^“我们人类面临一个全新的挑战^——未来的新发明，会不会完全超越我们理解的范围？以前，就算要补充大量的细节，创作者也能够解释某件事物是如何运作的，背后有什么原理。但现在，情况不是这样了。许多科技与系统已经变得如此复杂，没有任何一个人有能力真正理解_……在人工智能领域，那些正在走向自主的信息网络目前就是无法解释。你没有办法带着人一步一步走过整个决策过程，准确解释为什么算法会做出某项特定预测。工程师没办法看到机器的外壳下面发生了什么，更没办法轻松而详尽地解释各种事情是如何发生的。GPT-₄、AlphaGo等技术软件是一个又一个黑盒子，输出的信息与做出的决定，就是基于各种不透明而又极其复杂的微小信号链。 9

这种非人类的、令人难以理解的智能会让民主受到损害。如果越来越多关于人民生活的决定都是在黑盒子里完成的，选民无法理解，也无法挑战那些决定，民主就会停摆。特别是如果这些由高深莫测的算法做出的关键决定不仅影响个人生活，甚至涉及美联储利率这样的集体事务，世界会变成什么模样？人类公民或许还是会继续投票选出人类的领导人，但这不就是仪式而已吗？时至今日，只有很少一部分人真的了解金融体系是如何运作的。经济合作与发展组织₂₀₁₆年的一项调查发现，大多数人甚至连复利这种简单的金融概念都无法理解。英国国会议员肩负重任，要监督全球最重要的金融中心的运行，但₂₀₁₄年的一项针对英国国会议员的调查发现，只有_12%的议员真正了解银行放贷的过程会创造新的货币。而这件事只是现代金融体系最基本的原理之一。正如₂₀₀₇^—₂₀₀₈年的全球金融危机让我们看到的，一些更复杂的金融工具（例如担保债务凭证）与其背后的原理，只有极少数金融专家才能理解。等到人工智能创造出更复杂的金融工具，全球再也没有任何一个人类真正了解金融体系时，民主会发生什么改变？

近期之所以会出现一波民粹政党与魅力领袖的浪潮，原因之一就在于我们的信息网络变得越来越高深莫测。信息仿佛排山倒海而来，令人难以消化、不知所措，民众觉得自 己一旦再也看不懂世界是怎么回

事，就很容易成为阴谋论的猎物，于是想向某个自 己能够理解的事物，也就是某个人类，寻求救赎。遗憾的是，在算法逐渐主导世界的现在，虽然魅力领袖绝对都有其长处，但一个人不论多么鼓舞人心或才华横溢，单凭一己之力绝不可能破解算法运作的谜题，也无法确保算法真正公平。问题在于，算法在做出决定时参考了大量的数据，但人类却很难有意识地对大量数据进行反思、做出权衡。我们就是比较喜欢面对单一的数据。如果碰上复杂的问题（不管是贷款、疫情还是战争），我们常常希望能找出某个单一的理由，采取特定的行动。这就是所谓的单一归因谬误。

人类不善于同时权衡诸多不同因素，所以如果有人为某个决定给出许多理由，反而会让人觉得可疑。假设有位好朋友没来参加我们的婚礼。如果他只讲了一个理由（^“我妈住院了，我得去看她^”），听起来似乎很合理。但如果他列了₅₀个理由呢？^“我妈有点儿不舒服，我这个礼拜得带狗去看兽医，我手上有工作，当时还在下雨_……我知道每个理由听起来都不算是没去的合理理由，可是这₅₀个理由加在一起，我就没办法去参加你的婚礼了。^”我们之所以不会说出这样的话，是因为我们的脑子不会这样想。我们不会有意识地在心里列出₅₀个不同的理由，分别给予不同权重，再全部加总得出结果。

然而，算法正是这样评估我们的犯罪风险或信用水平的。以COMPAS为例，它的犯罪风险评估基于一份有₁₃₇个项目的问卷。那些拒绝发放贷款的银行使用的算法也是如此。要是欧盟的《通用数据保护条例》要求银行解释算法究竟是如何做出决定的，这里的解释绝不会只有一句话，而很有可能包括长达几百甚至几千页的数字与方程式。

想象一下，银行的解释信大概会这样写：^“敝行的算法采用一套精确的积分系统来评估所有贷款申请，共考虑₁₀₀₀个不同类型的因素，并将所有因素的分值相加得出总分。总分为负数，则属于低信用度客户，贷款风险过高。贵客户总分为-₃₇₈分，因此请恕敝行无法核发贷款。^”接着，信里可能会详细列出这套算法所考量的₁₀₀₀个相关因

素，有些甚至大多数人会觉得根本无关，例如几点提出的申请、申请人用的是哪款智能手机。接着再到这封信的第₆₀₁页，银行可能会解释说：^“贵客户通过智能手机提出申请，而且是苹果手机最新的机型。根据分析数百万份过去的贷款申请，敝行的算法发现一个规律^——使用苹果手机最新机型的申请者，还款的可能性高_0.08%。因此，算法已为该客户的总分加了₈分。然而，贵客户在申请时，手机电量已降至_17%。根据分析数百万份过去的贷款申请，敝行算法发现另一个规律^——允许智能手机电量低于_25%的客户，还款可能性会降低_0.5%。因此，算法已为该客户的总分扣₅₀分。

你可能觉得银行太莫名其妙了，并抱怨说：^“光是因为我的手机电量低，就拒绝核发贷款，这合理吗？^”但这种说法实在是误会。银行会解释：^“电量并不是唯一的因素，那只是敝行算法考虑的₁₀₀₀个因素里面的一个而已。

^“可是你们的算法难道没看到，我在过去₁₀年里只透支过两次？^”

^“算法显然注意到了这一点，^”银行可能会这样回答：^“请看第₄₅₃页。您在这里得到了₃₀₀分。是其他所有因素的作用，才让您最后的总分为-378分。

这种做决定的方式，虽然对我们来说可能很陌生，但显然也有些潜在的优势。一般来说，做决定的时候能考虑到所有相关的因素，而不是只看一两项比较突出的事实，通常都是好事。当然，究竟哪些信息才算^“相关^”，还有很大的争论空间。核发贷款的时候，由谁决定智能手机型号或申请人肤色这些信息与贷款申请是否相关？然而，不论我们如何定义相关性，^“能够考虑更多因素^”应该都是好事。事实上，许多人类的偏见正是因为只专注于一两个因素（例如肤色、性别或是否残疾），而忽略了其他信息。银行与其他机构之所以越来越喜欢用算法做决策，正是因为算法能够比人类将更多因素纳入考量。

但到了要给出解释的时候，就会出现可能难以克服的障碍。对于一项参考了这么多因素所做出的决定，人类的心智要怎么加以评估分析？我们很可能会觉得，威斯康星州最高法院实在应该要求Northpointe公司披露COMPAS判定埃里克·卢米斯具有高犯罪风险的过程细节。但就算真的披露了所有资料，卢米斯和法官又真的能理解吗？

这里的问题还不只是有大量的因素需要考量，或许最重要的是，我们无法理解算法是怎么从数据里找出规律模式并决定如何配分的。就算我们知道银行算法会找出允许智能手机电量低于_25%的人，并给这些人扣掉一定的分数，我们要怎么判断这公不公平？毕竟并不是人类工程师写了这条规则要求算法照办，而是算法分析了过去几百万份贷款申请，从中发现规律模式，才得出了这样的结论。难道光凭贷款申请人自 己就能去检查所有资料，判断这种规律模式是否真的公正可靠吗？

然而，在这片数字乌云的背后，其实还有一片灿烂的阳光。虽然一般人确实无法独力去检视那些复杂的算法，但专家团队在人工智能工具的协助下，评估算法的决策是否公平，其结果可能比人类评估人类的决策是否公平来得更可靠。毕竟，虽然人类的决策表面上基于我们意识到的那几个数据点，但是人类的潜意识会受到成千上万其他数据点的影响。虽然每个决定都是大脑里几十亿个神经元互动之后的结果，但由于我们并未意识到那些潜意识，因此一旦去回想或解释，我们就常常只会从单一数据点来加以说明。这样一来，要是有一位人类法官判处我们₆年有期徒刑，我们（或法官）要怎样才能确定这项判决真的是出于公正的考量，而没有受到半点潜意识中的种族歧视，甚至是法官当时肚子饿的影响？

对有血有肉的法官来说，至少以目前的生物学知识，这个问题是无解的。相较之下，如果是由算法来做出决定，理论上我们还是能够得知其中所有的考量因素，以及每个因素被赋予了多大的权重。从美国司法部到非营利新闻机构ProPublica的多个专家团队，都对COMPAS进行了仔细的拆解分析，想了解其中究竟可能有怎样的偏差。这些团队不但能发挥众人合作之力，甚至还能利用计算机的力量。就像是做贼的往往最知道怎么去抓贼，所以我们也大可用算法来审查算法。

这又会带出一个问题：要怎样才能确定那个负责审查的算法本身没有毛病？这是个先有蛋还是先有鸡的问题，到头来并不会有一个单纯的技术上的解决方案。不论研发了怎样的技术，人类都必须维持官僚机构制度，由人类负责审核算法，决定要不要盖下那个许可的印章。这些机构制度将结合人类与计算机的力量，确保新的算法系统安全公正。要是没有这样的机构制度，就算我们通过了让人类有权得到解释的法规，甚至施行了禁止计算机偏差的规定，又有谁能够真正加以执行？

急转直下

为了审查算法，监管机构除了要进行分析，还得把各项发现翻译成人类能听懂的故事。否则，我们有可能永远不会相信这些监管机构，反而相信各种阴谋论与魅力领袖。正如第三章所说，人类一直很难理解官僚制度，因为官僚制度唱的就不是人类那套生物戏剧，大多数艺术家也没有意愿或能力来呈现各种官僚戏剧。举例来说，即使是在描述₂₁世纪政治的小说、电影与电视剧中，重点通常也是少数权贵家族的恩怨情仇，似乎如今国家的治理方式与古代部落及王朝没有两样。艺术领域对王朝生物戏剧的依依不舍，让人看不到近几个世纪以来再实际不过的权力变化。

随着计算机慢慢取代人类从事官僚与编造神话的工作，权力的深层结构将再次改变。民主制度如果想生存，不但需要有专门的官僚机构来审查这些新结构，还需要有艺术家能以平易近人、寓教于乐的方式加以解释。一个绝佳的范例，是系列科幻电视剧《黑镜》第三季里的《急转直下》这一集。

《急转直下》拍摄于₂₀₁₆年，当时还没什么人听过所谓的社会信用体系，但它已经能让人充分了解这种体系的运作方式与可能造成的威胁。故事的主角拉西和弟弟莱恩同住，想之后搬进自 己的公寓。如果想得到新公寓的租金折扣，她的社会信用分数得从_4.2提高到_4.5（满分₅分）。如果有高分的朋友，她的分数就会水涨船高，所以拉西试着跟现在有_4.8分的儿时朋友纳奥米恢复联络。拉西受邀参加纳奥米的婚礼，但她在路上不小心打翻了一位高分人士的咖啡，这让她被扣了一点儿分数，不再符合航空公司的购票资格要求。在这之后，她可以说是噩运连连，分数急转直下，最后剩下不到₁分，她也被关进了监狱。

这个故事里有一些传统生物戏剧的元素，例如^“男孩遇见女孩^”（婚礼）、手足竞争（拉西与莱恩之间的紧张关系），以及最重要的地位竞争（本集主线）。但故事真正的主角其实不是拉西或纳奥米，而是社会信用体系背后那套看不见的算法。这套算法彻底改变了传统生物戏剧的动态，特别是关于地位竞争的动态。在过去，虽然人类偶尔也需要竞争地位，但在这种高压情境下还是常常能找到机会喘口气，休息一下。然而，无处不在的社会信用算法抹杀了这样的休息机会。《急转直下》并不是一个关于生物需要竞争地位的那种老掉牙的故事，而是有先见之明，探讨在科技改变地位竞争规则之后人类可能面临的情境。

如果官僚与艺术家学会如何合作，而且都能运用计算机加以协助，就有可能避免计算机网络彻底变得高深莫测。只要民主社会能够了解计算机网络，社会的自我修正机制就是防止人工智能遭到滥用的最佳方法。因此，欧盟于₂₀₂₁年提出的《人工智能法案》特别指出，类似《急转直下》里的这种社会信用体系，将被列为少数几种必须完全禁止的人工智能类型，原因是这可能会^“导致歧视的结果，使某些群体遭到排斥^”，以及^“可能侵犯人类拥有尊严与不受歧视的权利，违反平等与正义的价值观^”。就像前面提过的全面监控制度一样，虽然我们有能力打造出一套社会信用体系，但并不代表我们有必要打造这样的体系。

数字无政府状态

新的计算机网络对民主制度的最后一个威胁不是形成数字极权，而是促成数字无政府状态。民主制度的去中心化性质以及强大的自我修正机制虽然能够抵御极权制度，但也让维持秩序的难度增加。民主制度的运作必须满足两个条件：能针对关键议题进行自由的公共对话，能维持最低限度的社会秩序与制度信任。而自由的对话绝不能落入无政府状态。特别是在处理紧急而重要的问题时，进行公共辩论必须有一套公认的规则，也必须有合法的机制以保障某种最终决定的达成（即使没有办法让所有人都满意）。

在报纸、广播与其他现代信息技术出现之前，大规模社会无法既有自由辩论，又有制度信任，也就不可能出现大规模的民主。现在随着新计算机网络的崛起，大规模民主是否会再次变成一件不可能的事？难处之一，在于计算机网络让人更容易参与辩论。在过去，报纸、广播与各大政党这样的组织扮演了守门人的角色，决定公共领域会出现哪些人的声音。社交媒体削弱了这些守门人的权力，于是公共对话变得更为开放，但也更加走向无政府状态。

每次有新的群体加入对话，除了会带来新的观点与关注，还常常会推翻关于如何辩论、如何做出决定的共识，于是就得重新协商整套对话规则。这样的发展可能很正面，能让整个民主制度更具包容性，毕竟民主就该修正过去的偏误，让过去权利遭到剥夺的人重新参与公共对话。然而就短期而言，这种做法会造成干扰与不和谐。而且，如果对于如何公开辩论、如何做出决定迟迟无法达成共识，结果就不是民主，而是无政府状态。

我们特别担心人工智能可能造成无政府状态，是因为人工智能除了会让新的人类群体加入公开辩论，还在历史上第一次让民主必须应对各种来自非人类的杂音。在许多社交媒体平台上，机器人程序虽然还是少数，但已经占了相当的比例。一项分析估计，在₂₀₁₆年美国大选期间产生的₂₀₀₀万条推文中，有₃₈₀万条（将近_20%）是由机器人程序生成的。

₂₁世纪₂₀年代初，情况继续恶化。根据₂₀₂₀年的一项研究，目前所有推文的43.2%由机器人程序产生。数据分析工具Similarweb 2022年的一项更全面的研究发现，机器人程序可能只占推特用户的_5%，但却^“发布了_20.8%\~_29.2%的推特内容^”。在人类想要讨论一些重要问题的时候（例如该选谁当美国总统），如果听到的声音有一大部分来自计算机，会出现什么情况？

另一个让人担心的趋势在于内容。人类最早使用机器人程序影响公众舆论的时候，靠的只是它能大量传播信息，以量取胜。当时的机器人程序只能等到人类制作出内容，才能加以转发或推荐，无法自行创造新的想法，也无法与人类建立亲密感。然而，ChatGPT这种全新的生成式人工智能工具完全能够做到这些事。在₂₀₂₃年发表于《科学进步》（Science Advances）期刊的一项研究中，研究者请人类与ChatGPT针对疫苗、₅G技术、气候变化与演化等议题，同时写出正确或刻意要造成误导的短文。接着，他们让₇₀₀位受试者阅读这些短文，请受试者评估其可靠性。结果发现，同样是不实信息，如果是人类捏造的，我们一看就知道是假的，但如果是人工智能捏造的，我们却很容易信以为真。

这样一来，如果有数百万甚至数十亿个具备高度智能的机器人程序，它们不仅能写出极具说服力的政治宣言，创造出深度伪造的图像与影片，还能够赢得我们的信任与友谊，到那时民主辩论会变成什么模样？要是我在网络上与人工智能进行政治辩论，想要改变人工智能的观点只会是浪费时间。人工智能是一个无意识的实体，并不真的关心政治，也不能真的投票选举。然而，我与人工智能谈得越多，它就越了解我，于是能够得到我的信任，不断改进它的论点，也慢慢改变我的观点。在这种争夺人心的战斗中，亲密感是一种极为强大的武器。在过去，各个政党虽然能够吸引我们的注意力，却很难大规模产生亲密感。广播设备虽然能让几百万人听到领导人说了什么，却无法让领导人和听众变成朋友。但如今，政党（甚至外国政府）却能部署一支机器人程序大军，和几百万名公民建立友谊，再运用这样的亲密感来影响公民的世界观。

最后，算法不但成了对话里的成员，而且开始操控对话。社交媒体允许新加入的人类群体挑战过去的辩论规则，但在协商新规则的时候，情况已经不由人类来掌控，正如我们前面对社交媒体算法的分析所示，规则常常是由算法制定的。在₁₉世纪和₂₀世纪，媒体大亨们也曾经审查某些观点、宣传另一些观点。虽然这或许也曾对民主制度造成危害，但至少这些媒体大亨都还是人，我们也能以民主机制来监督他们的决定。但如果我们允许我们无力监督的算法决定传播哪些观点，情况就会危险得多。

如果操纵人心的机器人程序与我们无力监督的算法开始主导公共对话，民主辩论制度就可能在我们最需要它的时候彻底崩溃。面对新科技的迅速发展，人类需要做出各种重大决定，但公共领域却可能被计算机生成的假新闻淹没，公民无法分辨自 己辩论的对象是人类还是机器，而且就连最基本的讨论规则或事实都无法达成共识。这种处于无政府状态下的信息网络，既不能找出真相，也无法维持秩序，注定撑不了多久。而一旦陷入无政府状态，人民宁可牺牲自由来换取某种确定性，独裁政权或许就会产生。

禁用机器人程序

面对算法对民主对话的威胁，民主制度也不是无计可施。民主制度能够也应该做的，就是对人工智能加以规范，避免人工智能散播假新闻，污染人类的信息网络。哲学家丹尼尔·丹尼特建议，货币市场的传统规范方式可作为借鉴。自硬币与纸币发明以来，技术上一直都有制造假币的可能性。假币的存在会破坏人民对货币的信任，威胁金融体系的生存。如果假币充斥市场，金融体系就会崩溃。金融体系存活数千年，其自保方式正是制定法律打击假币，压低假币在流通货币当中的比例，维持人民对货币的信任。