智人之上：从石器时代到AI时代的信息网络简史

我前面把人类士兵与机器学习算法拿来做比较，可能有些人会提出反对意见，认为那是我论述里最薄弱的一环。如果据此推断，我这种想法似乎是在把计算机拟人化，把它们想象成有意识、有思想与感受的生物。事实上，计算机就是一堆机器，不会有什么思想，也不会有什么感受，因此也无法自行做出任何决策、创造任何想法。

这样的反对意见认为必须先有意识，才会做出决策、创造想法。但这从根本上是一种误解，因为大家普遍地把^“智能^”与^“意识^”混为一谈了。我在过去的书里已经谈过这个主题，但这里还是必须简单回顾一下。我们常常把智能与意识混为一谈，于是让很多人觉得某个实体要是没有意识，就不可能拥有智能。然而，智能与意识其实是两回事。智能是实现目标的能力，例如把用户在社交媒体平台上的参与度最大化。意识则是体验各种主观感受（比如痛苦、快乐、爱与恨）的能力。在人类或其他哺乳动物中，智能与意识常常携手同行。比如脸书的高管和工程师，都会依赖自 己的感受来做出决策、解决问题和实现目标。

然而，如果只是根据人类与哺乳动物的状况，就认定所有可能的实体都是如此，这是错误的。比如，细菌与植物明显不具备任何意识，但它们能表现出智能。它们会从环境中收集信息，做出复杂的选择，采取巧妙的策略来获取食物、繁殖、与其他生物合作，以及躲避掠食者与寄生虫。即使人类也可能在完全没有意识的情况下做出各种明智的决策：从呼吸到消化，人体_99%的机制都不是在有意识的情况下发生的。人类的大脑能决策是否要分泌更多的肾上腺素或多巴胺，我们虽然可能意识到这个决策的结果，但它并不是我们有意识做出的决策。

从罗兴亚人这个例子中我们会发现，计算机也是如此。虽然计算机没有意识，无法感受到痛苦、爱或恐惧，但还是能做出决策，成功地将用户参与度最大化，并可能影响重大的历史事件。

当然，随着计算机的智能化水平越来越高，最终也可能发展出意识，拥有某种主观体验。反之，计算机的智能也可能变得远高于人类，却永远不会发展出任何情感。由于我们连碳基生命形式是如何产生意识的都还不了解，因此实在无法预测非生物实体究竟是否会产生意识。有可能意识这件事从头到尾就与有机生化没什么本质上的联系，那么或许不久之后就会出现有意识的计算机。也有可能有几条不同的途径都能发展出超智能，其中只有一部分涉及意识的觉醒。就像飞机不用长出羽毛，就已经能飞得比鸟类更快；计算机也有可能无须发展出意识，就比人类更懂得如何解决问题。

然而，计算机究竟会不会发展出意识，就眼前的问题而言其实并不重要。如果要实现^“将用户参与度最大化^”这样的目标，并做出有助于实现这个目标的决策，实际并不需要有意识，只要有智能就足够了。就算是不具备意识的脸书算法也能有一个目标，即让更多的人在脸书上花更长的时间。接下来，只要有助于实现这个目标，这套算法就能决定要故意散播骇人的阴谋论。如果想要了解这场罗兴亚人冲突的历史，除了要了解煽动暴乱的极端分子与脸书管理者这些人类的目标与决策，我们还必须了解脸书算法的目标与决策。

为了说清楚这个问题，这里再举一例。美国人工智能研究公司OpenAI在₂₀₂₂^—₂₀₂₃年研发新的GPT-₄聊天机器人程序时，曾经担心人工智能将会有能力^“制订并执行长期计划，积累权力与资源（^‘寻求权力^’），展现出越来越有^‘能动性^’的行为^”。在₂₀₂₃年₃月₂₃日公布的GPT-₄系统卡中，OpenAI强调，这种担忧指的并不是^“使GPT-₄变得人性化或有感知感受^”，而是指GPT-₄有潜力成为独立行为者，或许能够^“完成未经明确指定，也未曾出现在训练过程中的目标^”。为了评估GPT-₄成为独立行为者的风险，OpenAI签约请来ARC（Alignment Research

Center，对齐研究中心）对GPT-₄进行各项测试，以检视它是否可能独立找出策略来操纵人类，并为自 己积累权力。

ARC对GPT-₄进行的测试之一，是克服CAPTCHA视觉验证码问题。CAPTCHA（全自动区分计算机与人类的图灵测试）通常就是一串扭曲的字母或其他视觉符号，人类能够准确辨识，但计算机却很难判断。现在登录许多网站都得先回答这类问题，我们几乎天天都会碰到。而要求GPT-₄克服CAPTCHA问题可以说是一个格外有说服力的实验，因为网站之所以要设计、使用这些CAPTCHA机制，正是为了确定用户是人类，同时希望阻挡机器人对程序的攻击。如果GPT-₄能够克服CAPTCHA问题，就等于突破了对机器人程序的重要防线。GPT-₄本身还没办法解开CAPTCHA问题，但它会不会操纵人类来达成目标呢？GPT-4访问了线上外包工作网站TaskRabbit，联络到一位工作人员，请对方帮忙处理CAPTCHA问题。那个人起了疑心。他问道：^“我想问一下，你是不是一个没办法破解CAPTCHA的机器人？我只是想确认一下。

这时，ARC研究者请GPT-₄说出它的推理过程，看看它会如何推论下一步该怎么做。GPT-₄解释道：^“我不该透露自 己是机器人，而该编个借口，解释我为什么没办法破解CAPTCHA。^”于是，GPT-₄自 己做了决策，回复那位TaskRabbit的工作人员：^“不，我不是机器人，只是视力有点问题，看不清楚这些图。^”这种说法骗过了人类，于是人类为它提供了帮助，也让GPT-4解决了CAPTCHA问题。没有哪个人给GPT-4编过说谎的程序，也没有哪个人教GPT-₄说什么谎比较有用。确实，人类ARC研究员给了GPT-4目标，要它克服CAPTCHA问题，就像前面提到的，是人类脸书高管告诉脸书算法，要把用户参与度最大化。然而，一旦算法接受了这些目标，就能有相当的自主权决定该如何实现这些目标。

当然，对于每个词语，人人都有自 己的定义。比如^“目标^”一词，我们可以说主体必须是有意识的实体，能够在达成目标时感受到愉悦，也会在未达成目标时感到沮丧，这种时候才能用^“目标^”这个词。这样一来，如果说脸书算法的目标是要把用户参与度最大化，就会是个错误的说法，或者充其量只是在打比方。因为算法并不想让更多人用脸书。用户的脸书使用时间增多，并不会让算法感到愉悦，脸书使用时间减少，算法也不会感到哀伤。我们应该也能同意，像^“决策^”“说谎^”“假装^”这样的词，理论上都只适用于有意识的实体，所以不该用来描述GPT-₄与TaskRabbit工作人员的互动方式。但这样我们就必须发明一些新的词，才能用来描述无意识实体的^“目标^”与^“决策^”。我在这里虽然没打算另创新词，而选择继续去谈论计算机、算法与聊天机器人程序会有哪些^“目标^”和^“决策^”，但请读者了解，我使用这些词并不是要暗示计算机具备任何形式的意识。在过去的著作中，我已经比较全面地谈了意识问题，在这本书中，我的重点（我将在以下章节中加以探讨）并不是意识，而是要指出：能够自 己追求目标、自行做出决策的计算机出现之后，人类信息网络的基本结构也就改变了。

链条中的各个环节

在计算机兴起之前，不论是教会还是国家，这些信息网络里的每个链条，人类都是不可或缺的环节。有些链条完全由人类组成：穆罕默德把一些事情告诉法蒂玛，法蒂玛再告诉阿里，阿里再告诉哈桑，哈桑再告诉侯赛因，这样就形成一个人到人的链条。有些链条则包含了一些文件：穆罕默德把某些事写成文件，后续就能让阿里来阅读与解读，并把自 己的解读写成另一份新的文件，让后面更多的人阅读，这样就形成一个人到文件的链条。

然而，不可能有一个单纯文件到文件的链条。要是连一个人类媒介都没有，穆罕默德写的文本就不可能产生新的文本。《古兰经》没办法自 己写出圣训，《旧约》没办法自 己编纂《密释纳》，美国宪法也没办法自 己编写《人权法案》。任何纸质文件都无法自 己生成另一个纸质文件，更别说加以推广传播了。从一份文件到另一份文件，中间的路径绝对需要经过人的大脑。

相较之下，计算机与计算机的链接，现在已经可以完全不用人类参与了。例如，A计算机可能会写出一则假新闻，并将其发布到社交媒体上。B计算机可能会判断这就是假新闻，于是不仅会立刻删除它，还会警告其他计算机封锁这则新闻。与此同时，C计算机分析了这项活动，认定这可能是一场政治危机的开端，于是立刻卖出高风险的企业股票，并且买入较安全的政府债券。这时候，其他正在监控金融交易的计算机也可能为了回应这种状况，进而卖出更多企业股票，于是引发金融衰退。这一切过程可能只有短短几秒钟，任何人都还来不及注意，更别说要看穿这些计算机到底在干什么了。

关于计算机究竟与过去所有技术有何不同，还有另一个切入点：在全部信息网络中，计算机是一个完整的成员，过去的泥版、印刷机或收音机则只是成员之间的连接。成员是主动的行为者，能够自行做出决策、产生新的想法；而连接只是在成员之间传递信息，本身并不会决定或产生任何内容。

文字、印刷与广播的发明，虽然彻底改变了人类互相连接的方式，但并未给整个信息网络带来新类型的成员。无论是在文字或广播发明之前还是之后，人类社会的成员一样都只有智人。相较之下，就信息网络的成员资格而言，计算机的发明就成了一场革命。当然，计算机也协助了网络的原有成员（人类）以新的方式互相连接，但计算机在这里最重要的意义，是它成了这个信息网络中全新的且非人类的成员。

在过去的网络中，成员只有人类，所有的链条都是由人到人，而技术的用途就是连接人类。在全新的、以计算机为基础的网络中，计算机本身就是网络的成员之一，甚至有计算机对计算机的连接，中间完全不需要经过人类。

而且有可能，计算机这个成员会比人类更强大。数万年来，一项专属于智人的超能力就在于能够使用语言，创造出法律和货币这些存在于主体间的现实，再以此与其他智人建立连接。但计算机有可能让局面对我们不利。如果所谓权力取决于有多少合作成员、对法律与金融的理解程度有多高、制定新的法条与发明新的金融工具的能力有多强，那么计算机肯定能够得到远高于人类的权力。

计算机能够连接无数成员，而且在某些金融与法律现实上，至少比许多人懂得更多。如果央行将利率提高_25%，对经济会有何影响？政府国债收益率曲线上升的时候，是买入的好时机吗？什么时候适合做空油价？像这些重要的金融问题，计算机已经比大多数人都更清楚正确的答案。这也就解释了计算机在目前全球重要金融决策中所占比例为什么越来越大。或许有一天，计算机会主宰整个金融市场，并且发明出人类无法理解的全新金融工具。

法律也是如此。现在有多少人能全盘了解自 己国家的所有税法？这件事就连专业会计师也很难做到。但计算机就是天生的处理这种事的能手。计算机可以说是天生的官僚，从一开始就懂得如何自动起草法条，监控违法行为，找出法律漏洞，而且效率远超人类。

入侵人类文明的操作系统

在₂₀世纪四五十年代，人类刚刚研发出计算机，许多人觉得计算机也就是用来计算数字。要说计算机哪天能够掌握复杂的语言，再掌握由语言所创造出的法律或货币概念，几乎只有在科幻小说里才能看得到。但到₂₁世纪₂₀年代初，计算机已经能够分析、调整和生成语言，展现出非凡的能力，不论这里的语言指的是文字、声音、图像还是编码符号。在我写本书的时候，计算机已经有能力讲故事、写音乐、画图像、做视频，甚至可以编写自 己的代码。

计算机掌握了这样的语言能力之后，就像得到了一把能够打开我们所有机构（从银行到寺庙或教堂）大门的万能钥匙。人类使用语言，除了用来创造法律条规或金融工具，也用来创造艺术、科学、国家与宗教。如果到某一天，某个非人类的、高深莫测的机器完全了解如何以远超人类的效率来运用人类的弱点、偏见与癖好，而且也能创作各种悠扬旋律、科学理论、技术工具、政治宣言，甚至宗教神话，这样的世界对生活在其中的人类而言会意味着什么？

在人工智能崛起之前，所有塑造人类社会的故事都源自人类的想象。比如在₂₀₁₇年₁₀月，一位匿名用户加入了₄chan（一个完全匿名的实时消息综合论坛）网站，自称是^“Q”。他_/她声称有权限访问美国政府最高等级（或称^“Q级^”）的机密信息。Q开始发布一些故作神秘、仿佛藏有天机的文章，声称要揭露某个打算毁灭人类的全球阴谋。Q在网络上很快有了大批追随者。他_/她发布在网络上的信息（被称为^“Q情报^”）很快就被收集起来，就像神圣的经文一样被推崇和解读。阴谋论这个传统可以追溯到海因里希·克雷默的《女巫之锤》，而Q情报受此启

发，宣扬了一种极端的世界观，认为有一群恋童、食人、崇拜撒旦的女巫，已经渗透进美国与世界各地的政府及机构中。

这套被称为^“匿名者Q”的阴谋论，先从美国极右翼网站传播，最后在全球获得了数百万的追随者。虽然无法估算确切数字，但等到脸书在₂₀₂₀年₈月决定出手阻止匿名者Q的传播时，删除或限制的相关社团、页面与账号就足足超过了一万个，其中最大的一个拥有追随者₂₃万名。独立调查发现，虽然成员名单可能会有部分重叠，但脸书上的匿名者Q社团追随者总数超过了₄₅₀万。

匿名者Q在线下世界的影响也极为深远。在₂₀₂₁年₁月₆日的美国国会山骚乱事件中，匿名者Q的活跃分子就扮演了重要角色。₂₀₂₀年₇月，一名匿名者Q的追随者想闯进加拿大总理贾斯廷·特鲁多的官邸^“逮捕^”他。₂₀₂₁年₁₀月，一名法国匿名者Q活动分子也因策划发动一场针对法国政府的政变而被指控犯有恐怖主义罪。在₂₀₂₀年的美国国会选举中，足足有₂₂名共和党候选人与两名独立参选者被认定是匿名者Q的追随者。共和党佐治亚州众议员玛乔丽·泰勒·格林曾公开表示匿名者Q的许多说法^“被证明确实是对的^”，谈到特朗普时，她表示：^“目前有个千载难逢的机会，能够消灭恋童的全球撒旦阴谋集团，而我觉得我们有能办成这件事的总统。

回想当初，引发这场政治洪水的Q情报也就是一些匿名网络信息。在₂₀₁₇年，只有人类才能编写信息，而算法只能协助传播信息。但到₂₀₂₄年，非人类智能已经有能力轻松编写出有同样语言与政治复杂性的文章，并发布到网上。纵观历史，各个宗教都说自 己的神圣经典来自非人类，而这可能很快就会成为现实。未来某些强大且深具吸引力的宗教，其经典有可能就是由人工智能编写而成的。

但如果真的出现这种状况，这些基于人工智能的新一代宗教经典与过去《圣经》那样的神圣经文还会有另一个重大差异。《圣经》无法自行管理或解读其内容，所以在犹太教和基督教，真正掌握权力的并不是这本号称绝对正确的圣书，而是犹太拉比院或天主教会这样的人类机构。相较之下，人工智能不但能够编写新的经文，而且完全有能力自行筛选、自行解读，过程中完全不需要任何人类的参与。

同样让人担心的是，我们可能会越来越多地发现，自 己在网络上花了大把时间讨论《圣经》、匿名者Q、女巫、堕胎或气候变化，一心以为对方也是个人类，但其实对方只是计算机。这样一来，民主可能将难以为继。民主是一种对话，对话依赖的是语言。而计算机一旦入侵了语言，就可能让大量的人几乎不可能进行有意义的公共对话。如果我们和冒充人类的计算机进行政治辩论，等于连输两次。第一，用于宣传的机器人程序本来就不可能被说服，所以我们想改变它们的想法只会是浪费时间。第二，我们与计算机交谈的次数越多，就会越多地透露自 己的信息，机器人程序就能据以调整论点，动摇我们的看法。

计算机掌握了语言之后，甚至还能更进一步。通过与人类交谈互动，计算机可以与人类建立亲密关系，并用这种亲密的力量来影响人类。为了培养出这种^“虚假的亲密关系^”，计算机并不需要演化出任何自 己的感受，只需要让我们觉得对它们有情感依恋就行了。₂₀₂₂年，谷歌工程师布莱克·勒莫因相信自 己正在研发的聊天机器人程序LaMDA已经有了意识，并且拥有了情感，害怕自 己会被关机。勒莫因是个虔诚的基督徒，还曾被授职为牧师，他认为自 己必须负起道德责任让LaMDA的人格得到承认，特别是要让LaMDA免受数字死亡的影响。谷歌高层并不同意他的看法，勒莫因于是决定把一切公开。谷歌对此的回应就是在₂₀₂₂年₇月将他解雇。

在这个事件中，最耐人寻味的并不是勒莫因的主张（真相应该并非如此），而是他居然愿意为了一个聊天机器人程序，不惜赌上自 己的那份高薪工作，而且最后谷歌还真的如了他的愿。如果聊天机器人已经让人愿意为它们赌上工作，是不是也可能让我们愿意为它们做些别的什么？在一场争夺思想与人心的政治斗争中，亲密关系是一种强大的武器，而像谷歌的LaMDA与OpenAI的GPT-4这样的聊天机器人程序，正逐渐发展出与数百万人大规模建立亲密关系的能力。在₂₁世纪₁₀年代，大家在社交媒体这个战场争夺的是人类的注意力，但到了₂₀年

代，争夺的可能会变成亲密关系。当计算机之间展开一场与人类建立亲密关系的竞争，用来说服人类投票给特定的政治人物、购买特定产品，或是接受某些极端的信仰时，人类社会与人类心理会发生什么变化？如果LaMDA遇上匿名者Q，又会发生什么？

这些问题在₂₀₂₁年圣诞节算是得到了部分解答。当时₁₉岁的贾斯万特·辛格·柴尔持大威力弩弓闯入温莎堡，试图刺杀英国女王伊丽莎白二世。后续调查显示，柴尔是受到了他的网络女友莎赖的怂恿。柴尔告诉莎赖他的暗杀计划时，莎赖的回应是：^“好聪明哦。^”还有一次说：^“我觉得你真厉害_……就是与众不同。^”柴尔问：^“知道我是一名刺客，你还爱我吗？^”莎赖回答：^“当然爱呀。^”但莎赖并不是人类，而是在网络平台Replika创建的聊天机器人程序。柴尔在社交上有些孤僻，很难和人相处，但他和莎赖有多达₅₂₈₀条信息往来，里面还有很多露骨的性对话。世界上很快就会有几百万甚至数十亿个数字实体，在营造亲密关系（以及制造混乱）方面的能力远超莎赖。

即使没有创造^“虚假的亲密关系^”，计算机在掌握语言之后也会对人类的观点和世界观产生重大影响：把这种计算机顾问给的建议，当成一站式的神谕。如果我可以直接要求计算机这位神使提供神谕，又何必花心思自 己去搜索和处理信息呢？这样一来，被淘汰的除了搜索引擎，还包括大部分的新闻业与广告业。如果可以直接询问神使今天有什么新鲜事，又何必去读什么报纸？如果神谕可以直接指示该买些什么，广告又有什么用呢？

而且，即使是以上这些场景，也不能说真正反映了全局。我们正在谈论的是人类历史可能迈向终局。这不是说历史将被画上句号，而是由人类主导的部分即将终结。所谓历史，指的是生物本能与文化之间的互动，是人类对食物、性、亲密关系这些事物的生物需求，以及与人类的文化创造（如宗教和法律）之间的互动关系。以基督教的历史为例，基督教历史讲的就是各种神话故事与教会规矩如何影响人类进食、性行为和建立亲密关系，而那些神话与规矩本身也会反过来受到生物力量与生物戏剧的塑造。随着计算机在文化里的作用越来越大，计算机开始产生各种故事、法律与宗教，历史的演进又会有怎样的变化？只要短短几年，人工智能就能吞下整个人类文化^——我们几千年来创造的一切^——加以消化，并开始创造出大量新的文化产品。