智人之上：从石器时代到AI时代的信息网络简史

因此，虽然功利主义承诺提供一种合乎理性甚至数学的方式，让所有行为都与终极之善看齐，但在实践中这可能只是又一则神话。以自由主义者为例，一旦被质疑该如何解释不受限制的言论自由或完全废除税收所带来的直接社会危害，他们常常会表达一种信念：未来能得到的利肯定大于短期造成的弊。功利主义的危险在于，如果你深信一个未来的乌托邦，就仿佛得到了一份空白授权书，允许你现在制造各种可怕的痛苦。事实上，这正是传统宗教在几千年前就已经玩儿的把戏。对于未来救赎的承诺，很容易成为犯罪借口。

计算机神话

所以，史上的官僚制度是怎么设定它们的终极目标的？答案就是依靠各种虚构的神话故事。无论那些官员、工程师、税务员、会计师多崇尚理性，到头来还是会服务于这个或那个编造神话的人。套用凯恩斯的一句话，有些所谓务实人士，自认为不受任何宗教影响，但通常就是神话编造者的奴隶。就连核物理学家，也发现自 己得听从某些人的命令。

事实证明，一致性问题本质上就是个神话问题。无论信的是义务论还是功利主义，纳粹各级行政管理者只要继续用那套种族主义神话理解世界，就会屠杀几百万人。如果你从心底相信^“犹太人是恶魔，一心要毁灭人类^”这套神话，无论是用义务论还是用功利主义，都能找到很多合乎逻辑的论点，证明犹太人实在该杀。

计算机也可能碰上类似的问题。当然，计算机就是无意识的实体，无法真的^“相信^”任何神话。毕竟它们并没有主体性，自然也就无法拥有存在于主体间的^“信念^”这种东西。但我们必须了解计算机的一个重点是，在许多计算机相互通信的时候，就能形成一种^“存在于计算机间的现实^”，类似于人际网络所创造的^“存在于主体间的现实^”。这些存在于计算机间的现实，最终的力量（与危险性）可能不亚于人类所创造的存在于人类主体间的神话。

这个论点很复杂，但也是本书的核心论点之一，所以让我细细道来。首先，我谈谈什么叫作存在于计算机间的现实。假设有一款单人计算机游戏。在这个游戏里，你可以漫步在一个虚拟场景中，而这个场景完全就是存储于计算机里的信息。如果你在游戏里看到一块儿石头，那块儿石头并不是由真正的原子构成的，而是由那台计算机里的比特构成的。当许多台计算机相互链接时，就能形成存在于计算机间的现实，而让使用不同计算机的许多玩家得以共同漫步于同一个虚拟场景。这时，如果他们看到一块儿石头，那块儿石头就是由那些不同计算机里的比特构成的。

金钱、神祇这种存在于主体间的现实除了能影响人的思想，也能影响物理现实；同理，存在于计算机间的现实同样能影响存在于计算机之外的现实。₂₀₁₆年，《宝可梦Go》游戏风靡全球，当年年底的下载量就已达数亿次。这是一款增强现实手机游戏，玩家可以用智能手机来寻找、攻击与捕捉名为^“宝可梦^”的虚拟生物。通过增强现实功能，这些宝可梦就像存在于现实世界一样。我曾经和外甥马坦一起抓宝可梦，当时在他家附近走来走去，我只能看到房子、树木、石头、汽车、人、猫、狗，还有鸽子。因为我根本不用智能手机，所以看不到任何宝可梦。但马坦通过智能手机镜头环顾四周，就能^“看到^”有宝可梦站在石头上或躲在树后。

虽然我看不到这些宝可梦，但它们显然并不是只存在于马坦的智能手机里，因为其他人也能够^“看到^”它们。我们当时就遇到另外两个孩子正要抓同一只宝可梦。在马坦成功抓到某只宝可梦的时候，另外两位游戏中的好友也可以从手机上立刻得到消息。宝可梦就是一种存在于计算机间的实体，虽然是由计算机网络里的比特构成，而不是以物理世界的原子形式存在，但这些实体仍然能够通过各种方式与物理世界互动并造成各种影响。

对于这种存在于计算机间的现实，现在让我举一个更重要的例子：网站在谷歌搜索中的排名。我们在谷歌上搜寻新闻、机票或餐厅推荐的时候，总会有某个网站列在第一页最上方，至于另一个网站可能会排在第₅₀页的中间。谷歌的排名究竟有什么意义？它是怎么决定排名先后的？谷歌算法决定网站排名的方式，是通过各种参数来给每个网站打分，参数包括访问网站的人数、有多少网站链接到该网站等。而这套排名本身就成了计算机间的现实，存在于链接了几十亿台计算机的网络（互联网）之中。就像宝可梦一样，这种存在于计算机间的现实也会外溢影响到物理世界。比如对各家新闻媒体、旅行社或餐厅来说，自 己的网站究竟是出现在谷歌搜索的第一页最上端还是第₅₀页的中间，影响是非常重大的。

正因为谷歌排名如此重要，总有人费尽心思想要操纵谷歌的算法，提升自 己网站的排名。举例来说，他们可能会用机器人来为网站创造更多流量。这种情形在社交媒体中也十分常见，我们总是能看到组织有序的机器人程序大军，不断操纵着YouTube、脸书或推特的算法。如果有一则推文疯传，到底是因为人类真的对它感兴趣，还是因为有成千上万个机器人程序成功骗过了推特的算法？

宝可梦和谷歌排名这样的计算机间现实，就很像人类创造的主体间现实，例如，圣殿的庄严感和城市的神圣性。我这辈子的大部分时间都待在全球最神圣的一座城市^——耶路撒冷。客观来说，这里没什么不一样。走在耶路撒冷的街上，你会看到房子、树木、石头、汽车、人、猫、狗，还有鸽子，就跟其他城市一模一样。但很多人还是想象着这里有多么神圣，仿佛充满了神灵、天使与圣石。他们太相信这一套，甚至大打出手，就为了抢下这座城市、某栋神圣建筑物甚至是某块儿神圣的石头，例如，最著名的就是圣殿山圆顶清真寺底下的圣

石。巴勒斯坦哲学家萨里·努赛贝指出：^“犹太人与穆斯林基于不同的宗教信仰，而都拥有核武器，随时可能爆发史上最严重的大屠杀，就为了一块儿石头。^”两方要抢夺的并不是构成那块儿石头的原子，而是那块儿石头代表的^“神圣性^”，就像两个孩子抢着抓某只宝可梦一样。无论是圣石还是耶路撒冷，它们的神圣性都是一种存在于主体间的现象，只存在于联结了许多人类思想的沟通网络之中。几千年以来，许多战争的起因只是争夺某些存在于主体间的实体，例如，所谓神圣的石头这种东西。而到₂₁世纪，可能会出现因抢夺计算机间的实体而引发的战争。

如果觉得这听起来太过科幻，不妨想想金融体系的发展。随着计算机越来越具备智能与创造力，很可能创造出新的计算机间的金融工具。黄金与美元是主体间实体，而比特币这种加密货币，则是介于^“主体间^”与^“计算机间^”之间。比特币的概念是人类发明的，其价值也取决于人类的信念，但比特币无法存在于计算机网络之外。而且，因为比特币的交易越来越多地通过算法进行，所以其价值高低也会越来越取决于算法，而不只是受到人类信念的影响。

再过₁₀年或₅₀年，计算机如果创造出某种新型加密货币或金融工具，成为交易与投资不可或缺的工具，进而成为政治危机与冲突的潜在根源，人类该怎么办？回想₂₀₀₇^—₂₀₀₈年，当时的全球金融危机由各种担保债务凭证引发，这些金融工具就是由几个数学家和投资奇才发明的玩意儿，对大多数人（包括负责监管的政府）来说根本难以理解。所以最后监管失灵，引发全球灾难。而计算机所发明的金融工具，很可能远比担保债务凭证复杂，只有其他计算机才能搞懂它们在干什么。结果就可能是一场比₂₀₀₇^—₂₀₀₈年更严重的金融与政治危机。

纵观历史，经济和政治都要求我们必须了解由人类所发明的主体间现实，比如宗教、国家与货币。例如，过去想要了解美国政治，就不能不懂基督教和担保债务凭证这样的主体间现实。然而，如果想在未来了解美国政治，就越来越需要了解计算机间现实，比如人工智能创造的异教组织与货币，由人工智能运作的政党，甚至是完全融入社会与政治的人工智能。美国法律体系承认企业是法人，拥有言论自由这样的权利，而在^“联合公民诉联邦选举委员会案^”（Citizens United v.Federal Election Commission，2010）中，美国联邦最高法院甚至裁定企业拥有捐赠政治献金的权利。这样一来，又有什么理由能阻止人工智能被纳入并被认定为具有言论自由的法人，进而游说各方，捐赠政治献金，推动保护与扩张人工智能的权利？

人类在几万年间主宰着地球，是因为只有人类有能力创造并维持各种主体间实体（如企业、货币、神祇、国家），再通过这些实体来组织大规模合作。而现在，计算机也可能具备类似的能力。

这不见得是个坏消息。毕竟如果计算机没有链接性与创造力，实用效益也会相当有限。人类现在之所以能越来越依赖计算机来管理金钱、驾驶车辆、减少污染、发明新药，正是因为计算机能够直接彼此沟通，找出人类看不到的规律模式，打造出人类可能永远想不到的模型。现在人类该问的问题并不是如何剥夺计算机的创造力，而是如何把这些创造力导向正确方向。这与人类创造力一直面对的问题并无不同，人类发明了各种主体间实体，虽然这些实体成了人类文明所有成就的基础，但偶尔也会出现十字军东征、圣战和政治迫害。计算机间实体或许也可能成为未来文明的基础，然而，只是因为计算机收集的是经验数据，用的是数学分析，并不代表计算机就不可能发起自 己的政治迫害。

新女巫

早期现代欧洲曾有一个复杂的信息网络，分析了大量犯罪、疾病与灾难资料，结论是这一切都是女巫搞的鬼。猎巫者收集的资料越多，就越相信这个世界充满了恶魔与巫术，而且背后有个全球撒旦阴谋要毁灭人类。于是，这个信息网络更进一步要找出所有女巫，对其加以监禁或处死。但我们现在知道，女巫就是一个存在于主体间的虚假概

念，是信息网络自 己发明出来，然后硬套在一些根本没见过撒旦，也没有能力召唤冰雹的人头上的。

苏联曾有一个更复杂的信息网络，发明了^“富农^”这个类别，并将其强行套用到几百万人头上。苏联官僚制度收集到的富农信息虽然堆积如山，但并没有呈现客观真相，反而创造了一套主体间真相。虽然富农这个类别全是发明的，但在当时要了解某个苏联人，他是不是富农就成了重中之重。

再扩大一下范围，₁₆^—₂₀世纪，从巴西到墨西哥与加勒比海地区，再到美国，美洲的无数殖民官僚体系创造了各式各样的种族主义神话，也创造了各种存在于主体间的种族类别。他们把人分成欧洲人、非洲人与美洲原住民，再加上常常有跨种族性关系，就得发明其他种族类别。比如在许多西班牙殖民地，梅斯蒂索人（西班牙人与美洲印第安人混血种人后代）、穆拉托人（西班牙人与非洲人混血种人后代）、桑博人（非洲人与美洲印第安人混血种人后代）、帕尔多人（西班牙人与非洲人的混血儿再与美洲印第安人生的孩子）适用的法律都不相同。乍看之下，根据经验证据确定的类别，决定了这些人是否会受到奴役、享有政治权利、携带武器、担任公职、接受学校教育、从事特定职业、居住于特定社区，以及能否与他人发生性关系或通婚。似乎只要能把某个人放进某个特定的^“种族抽屉^”，我们就知道了他的个性、智力与道德倾向。

到₁₉世纪，种族主义似乎成为一门精准的科学：它声称自 己都是以客观的生物学事实来将人分类，也会运用测量颅骨与犯罪统计数据这样的科学方法。然而，这些让人堕入云里雾里的数据与类别，只是服务于荒谬的主体间神话谎言所制造的烟幕。知道某个人的祖母是美洲原住民、父亲是非洲人，并不能看出这个人到底智商有多高，是否善良或诚实。这些杜撰出来的类别并没有发现或描述任何关于人类的真相，只是把一种压迫性、神话般的秩序硬套到人民头上。

从税收、医疗保健到安全和司法，随着计算机在越来越多的官僚体系当中取代人类，也就越来越可能形成另一套神话谎言，并以前所未有的效率硬套在我们头上。在过去那个由纸质文件主宰的世界，官僚很难真正掌控种族的边界，追踪每个人的确切血源。文件可以造假；桑博人搬到另一个城镇，就能假装帕尔多人；黑人有时候也可能被认为是白人。苏联的情况也类似，富农家的孩子偶尔会伪造文件，让自 己找份好工作、进入好大学，而在纳粹统治的欧洲，犹太人有时候也可能假装自 己是雅利安人。然而，如果主宰这个世界的不再是纸质文件，而是能够读取虹膜与DNA数据的计算机，要玩弄这个系统的难度就会大大增加。计算机给人贴上假标签，而且让人绝对撕不下来的效率，很有可能高得吓人。

举例来说，社会信用体系可能创造一种新的下层阶级^——低信用族群。这套体系可能会说，它只是通过经验与数学程序，从各方收集点数得到一个总分，以此^“发现^”真相。然而，这套体系究竟要怎样定义亲社会与反社会的行为呢？如果这样的体系认定，一个人批评政府政策、阅读外国文学作品、信奉少数派宗教、没有宗教信仰或与其他低信用评分的人往来，就必须扣分，那么情况会如何发展？作为一个思想实验，让我们假设社会信用体系这项新科技遇上了传统宗教，看看情况会如何。

犹太教、基督教与伊斯兰教等宗教都想象，在云端某处有一只全知之眼，它会根据我们的一切行为来加减分数，最后的总分决定我们永恒的命运。当然，没人知道自 己现在究竟拿了几分，等死了才能揭晓。实际上，这也代表所谓的善与恶都是主体间现象，其定义会依据公众舆论而有所不同。举例来说，如果某个政权决定，自 己那套计算机化的监控系统不仅要执行严格的^“头巾法^”，更要让所谓的善与恶也成为一套精确的计算机间现象，操作起来会是什么模样？不戴头巾就上街，扣₁₀分；在斋戒期间，还没日落就进食，扣₂₀分；参加祈祷活动，加₅分；参加朝圣活动，加₅₀₀分。这套系统最后或许就会把所有分数加总，并把人分类成^“罪人^”（₀分以下）、^“信徒^”（₀～₁₀₀₀分）

或^“圣人^”（₁₀₀₀分以上）。一个人到底是罪人还是圣人，由算法的计算决定，而不是由人类的信念决定。这样的系统究竟是能够找出一个人最真实的真相，还是会把一套秩序硬套在人的头上？

所有的全面监控政体，都面对类似的问题。它们号称要用无所不包的数据库与极度精准的数学方法找出所有罪人、恐怖分子、犯罪者、反社会分子与不值得信任的民众，但实际上，它们可能是在以前所未有的效率，把毫无根据的宗教与意识形态偏见套在所有人的头上。

计算机偏见

有些人可能希望，只要赋予计算机更强大的能力，就能克服各种宗教与意识形态上的偏见。这些人或许认为，种族主义、厌女、恐同、反犹太主义等偏见并不存在于计算机，而是源自人类的心理状况与神话观点。计算机只关心数学，不谈心理学或神话。所以如果能够彻底排除人类的成分，就能让算法完全基于数学做判断，摆脱心理扭曲或神话偏见的影响。

遗憾的是，许多研究都显示，计算机同样有根深蒂固的偏见。虽然计算机并非生物实体，也没有意识，但计算机确实拥有类似数字心灵的东西，甚至可能出现某种计算机间的神话观点，所以同样可能有种族歧视、厌女、恐同或反犹太主义倾向。举例来说，₂₀₁₆年₃月₂₃日，微软推出一款人工智能聊天机器人Tay，它能够自由存取推特的内容，并与用户互动。结果不到几小时，Tay已经开始发表厌女与反犹太主义的推文，比如^“我恨透了女权主义者，他们都该在地狱里燃烧^”“希特勒是对的，我讨厌犹太人^”。这些恶毒仇恨的言论不断增加，吓坏了微软工程师，迅速将Tay下架^——这时距离其被推出才短短₁₆小时。

₂₀₁₇年，麻省理工学院教授乔伊·布兰维尼研究了市场上的人脸分析算法产品，发现里面有点不太明显却极为普遍的种族歧视问题。她指

出，这些算法识别白人男性非常准确，但识别黑人女性却非常不准确。举例来说，IBM算法在判断浅肤色男性的性别时，错误率只有_0.3%，但判断深肤色女性的性别时，错误率竟高达_34.7%。作为定性测试，布兰维尼拿出非裔美籍女性传教士索杰纳·特鲁斯（特鲁斯以₁₈₅₁年的演说《我难道不是女人吗？》而闻名）的照片，请算法做判断。那些算法竟判断特鲁斯是一位男性。

布兰维尼是加纳裔美籍女性，她拿了另一套人脸分析算法来对自 己做识别，结果那套算法根本无法^“看见^”她肤色较深的脸。在这种情境中，所谓^“看见^”指的是能够判断画面中有一张人脸，例如，手机摄像头就会利用这种功能来判断该聚焦在哪里。那套算法很容易就能看见肤色较浅的人脸，却看不到布兰维尼的脸。布兰维尼戴上了一个白色面具，那套算法才忽然意识到原来眼前有张人脸！

这到底是怎么回事？一种可能是这些算法背后有一群有种族歧视倾向又厌女的工程师，写算法的时候就是想要歧视黑人女性。这种答案虽然不能说全无可能，但无论是人脸识别算法的例子还是微软的Tay，事实并非如此。事实上，这些算法是从那些训练它们的数据里学到了种族歧视和厌女偏见。

为了说明为什么会有这种状况，得来解释一下算法的历史。一开始，算法没有办法靠自 己来学习东西。比如在₂₀世纪八九十年代，国际象棋算法所知道的一切，几乎都是人类程序员告诉它的。人类写进算法的，除了国际象棋的基本规则，还包括该怎样评估各种棋局和棋步。比如，当时人类就写出一条规则告诉算法，牺牲王后来保住兵通常不是什么好主意。这些早期的算法之所以能够击败人类国际象棋大师，只是因为它们能比人类计算更多棋步、评估更多棋局，仅此而已。但是算法的能力有限。如果算法必须依赖人类告诉它们关于国际象棋的一切秘密，如果人类程序员不知道某些事情，那么它们产生的算法就不太可能知道。

但随着机器学习这个领域的发展，算法变得越来越独立。机器学习最基本的原则，就是要让算法像人类一样，能够通过与世界互动来教自己学会新事物，成为一套成熟的人工智能。虽然各方对人工智能的定义还有差异，但大致来说，要想称得上^“人工智能^”，就必须具备自行学习新事物的能力，而不能只是遵循最初人类创造者的指示。例如，现在发展出的棋类人工智能，人类除了游戏的基本规则，已经不会再^“教^”它们其他内容，而是让它们彻底自学，通过分析过去棋局的资料库，或者不断下新的棋局，从经验中学习。人工智能并非不顾结果，只是傻傻地不断重复同样的动作，而是拥有强大的自我修正机制，能够从自 己的错误中学习。

这代表着人工智能一开始就像个^“算法宝宝^”，虽然没有多少知识，但拥有巨大的潜力与运算能力。人类父母给它的只有学习能力，并让它能够接触这个资料世界，接着就放手让这个^“算法宝宝^”自 己探索。而与人类宝宝一样，^“算法宝宝^”的学习方式就是从自 己能接触到的数据中找出规律模式。如果去摸火，会很痛；如果我哭了，妈妈就会来；如果我牺牲一个王后去换一个兵，这一局可能就会输。通过寻找数据中的规律模式，^“算法宝宝^”就能学到更多，包括许多连人类父母都不了解的事。

然而，数据库也会有偏见。布兰维尼研究的那些人脸分析算法，训练时用的是各种经过标记的线上照片资料集，例如，LFW人脸识别数据库（Labeled Faces in the Wild，即^“真实世界经过标记的人脸^”）。这个数据库的照片主要来自线上新闻文章，而白人男性又在新闻中占了大多数，于是整个数据集有高达_78%的照片为男性、_84%为白人。仅小布什一个人，在整个数据集里就出现了₅₃₀次，足足是所有黑人女性出现次数的两倍。在另一个由美国政府机构建设的数据库中，有超过_75%的照片为男性，将近_80%为浅肤色，深肤色女性在里面只占_4.4%。所以，用这些数据集训练出的算法虽然很懂得如何识别白人男性，却不擅长识别黑人女性。聊天机器人Tay的情况也类似。微软工