智人之上：从石器时代到AI时代的信息网络简史

程师并没有刻意加进什么偏见，但让这款人工智能在推特上接触各种^“有毒^”信息几小时之后，它就成了极端种族主义者。

事情还可能更糟。想要学习，^“算法宝宝^”除了需要数据，还需要另一样东西^——一个目标。人类宝宝之所以能学会走路，是因为他们想要到达某个地方；狮子宝宝之所以能学会狩猎，是因为想要吃东西。算法的学习，也必须有个目标。如果是国际象棋，这个目标很容易：吃掉对手的国王就行了。有了这个目标，人工智能就能发现牺牲王后来换一个兵是个^“错^”，因为这样一来，通常会让算法难以达成目标。在人脸识别方面，目标也很简单：能够判断照片人物的性别、年龄与姓名，得到与数据库记录相同的结果。要是算法认为照片中的小布什是个女性，但数据库记录显示其为男性，就代表未能实现目标，算法也会从这个错误中学习。

然而，假设你要训练一套用来招聘的算法，目标该怎么确定？算法要怎么知道自 己犯了错，聘用了一个^“错^”的人？我们可能会告诉这套^“算法宝宝^”，它的目标是找到会在公司至少工作一年的人。企业显然并不希望投入大量时间与金钱，培养一个干几个月就辞职或被解雇的员工。这样确立目标之后，就该看看数据了。在国际象棋里，算法只需要和自 己对弈，就能产生无穷无尽的新数据。但就业市场没办法这么干。没有人能够真正创造一个完整的假想世界，让^“算法宝宝^”雇用与解雇各种假想员工，再从经验里学到教训。^“算法宝宝^”只能以真实人类的现有数据库进行训练。狮子宝宝要想认识什么是斑马，主要依靠在现实的草原上找出斑马的花纹模式；^“算法宝宝^”要学会什么是好员工，主要依靠的是在现实的企业里找出好员工的行为模式。

但很遗憾，如果现实的企业中本来就存在一些根深蒂固的偏见，^“算法宝宝^”很可能就会学习这种偏见，甚至将其放大。举例来说，算法如果基于现实数据创建^“好员工^”模型，很有可能认定老板的侄子无论资质如何，都是最好的员工。因为过去的数据清楚地表明，老板的侄子通常只要求职就能被录用，而且很少被解雇。^“算法宝宝^”会找出这样的模型，学会任人唯亲。算法如果负责人力部门，就会认定老板的侄子是一流人选。

同样，如果在一个厌女的社会里，企业比较喜欢雇用男性而非女性，那么算法一旦使用现实数据进行训练，就很难摆脱这种偏见的影响。亚马逊在₂₀₁₄^—₂₀₁₈年尝试研发筛选求职申请的算法时，就确实出现了这种情况。那套算法在学习了过去求职成功与失败的申请资料之后，只要申请表里有^“女性^”一词，或求职者毕业于女子大学，就会系统性地进行扣分。因为现有数据显示，此类求职者被录用的概率较低，所以算法对她们产生了偏见。算法觉得自 己发现了现实世界的客观事实：从女子大学毕业的求职者资质较差。事实上，它只是内化，并且强制落实了厌女的偏见。亚马逊试图解决这个问题，但以失败告终，最后直接放弃了这个项目。

训练人工智能用的数据库，有点儿像是人类的童年。人类在童年的经历、创伤与美好回忆，会陪伴我们走完一生。人工智能也有童年经历。算法甚至会像人类一样，受他人偏见的影响。想象一下，算法在未来的社会无所不在，除了能用来筛选求职者，还能用来帮助学生选专业。由于现实中既有的厌女偏见，_80%的工程师职位都由男性担任。在这样的社会，负责招聘新工程师的算法不但可能复制这种既有偏见，还会进一步影响那些推荐大学专业的算法。如果女学生发现，既有数据显示她不太可能找到工程师的工作，她就会降低读工程专业的意愿。^“女性不擅长工程学^”原本只是一种存在于人类主体间的错误观念，现在却有可能演变成一种存在于计算机间的错误观念。如果我们不从源头消灭这种偏见，计算机就很可能将其延续和放大。

然而，摆脱算法偏见的难度或许不低于摆脱人类的偏见。在算法经过训练之后，人类想要消除算法的训练痕迹，可得花上大把的时间和精力。有时候，我们宁可直接放弃一套已经产生偏见的算法，另找一个偏见较少的数据集，重新训练一套全新的算法。然而，哪里才能找到完全没有偏见的数据集？

本章与前几章所谈到的算法偏见，很多都有一个同样的基本问题：计算机觉得自 己找出了某些关于人类的真相，事实上却只是把一套秩序硬套在人类头上。社交媒体算法以为自 己发现了人类喜欢感到愤慨，但事实上，正是算法让人产生与接收到更多的愤慨情绪。这种偏见一方面是由于计算机低估了人类的能力，另一方面也是因为计算机低估了自 己影响人类的能力。即使计算机发现几乎所有人都有某种行为方式，也不代表人类一定有这样的行为。搞不好这正意味着计算机鼓励这种行为，惩罚其他行为。计算机如果以更准确，也更负责的观点来看这个世界，就得把自 己的力量与影响也考虑进去。要实现这样的目标，目前正在设计计算机的人就必须接受一个事实：他们正在做的事，不是在制造新的工具，而是在释放新的独立行为者，甚至可能是全新的神。

新神上场？

哲学家梅根·奥吉布林在《上帝、人类、动物和机器》（God_, Human_,Animal_, Machine）一书中谈到，我们对计算机的理解，其实深受传统神话的影响。她也特别强调，现在的人工智能很像是犹太教与基督教里的那位无所不知、深不可测的神：人工智能或神做的决定，对我们来说似乎都是那么既绝对正确又高深莫测。但这可能会给人类带来危险的诱惑。

第四章谈过，人类在几千年前就梦想着找到一种无懈可击的信息技术，以保护我们免受人类贪腐堕落与错误的影响。各种宗教经典正是打造这种技术的大胆尝试，但结果适得其反。由于宗教经典没办法解读自身，因此必须成立人类的机构来解读那些神圣的话语，并随着不断变化的情境做出各种调整。结果，不同的人对经典有不同的解读方式，从而再次打开了贪腐堕落与错误的大门。然而，那些宗教经典做不到的，计算机做得到：计算机能适应不断变化的情境，也能向我们解释它们的决定与想法。因此，有人或许会认为：我们终于成功找到了一种无懈可击的信息技术，计算机就像是一部神圣的宗教经典，这部经典不但能与我们对话，还能进行自我诠释，完全不需要任何人类机构介入。

这种想法将是一场极度危险的赌博。在过去，人类即使偶尔对宗教经典有不同的解读，造成像猎巫行动或宗教战争这样的灾难，也总能迷途知返，改变自 己的信念。虽然人类的想象力能召唤出某个好战、充满仇恨的神，但是人类有能力摆脱这样的神，重新想象出另一位比较和善、宽容的神。然而，算法能够独立行动，而且已经从我们手中夺走了那种能力。如果算法造成灾难，人类只是改变对算法的信念并不一定能阻止它们。而且，由于计算机容易出错，人类将权力赋予计算机，很可能造成灾难。

我们说计算机容易出错，不只是说计算机偶尔会搞错事实，或做出错误的决定。更严重的错误是，像人类网络一样，计算机网络可能无法在真相与秩序之间找到适当的平衡。计算机网络一旦创造出强大的计算机间神话，并将这种神话强加到人类身上，造成的灾难性影响与早期现代欧洲的猎巫行动和苏联农业集体化运动相比有过之而无不及。

想象一下，几十亿台彼此互动的计算机组成网络，搜集大量关于这个世界的信息，并且在追求各自不同目标的过程中发展出共同的世界模型，帮助它们进一步沟通与合作。这个共同模型可能充满错误、虚构与缺漏，并且会是一个神话，而不是对宇宙的真实描述。例如，某种社会信用体系把人类分成几种不合理的类别，甚至不是根据人类能理解的道理（例如种族），而是根据某种高深莫测的计算机逻辑。但因为这会影响计算机对人类所做的诸多决定，所以我们可能未来每天都会接触到这样的计算机神话。而且，由于这种神话模型是由非生物实体创造的，目的是与其他非生物实体配合行动，因此很可能与古老的生物戏剧完全不同，以至人类根本难以想象。

正如第二章所述，没有虚构的神话，大规模社会不可能存在，但这并不代表所有神话的质量没有高下之别。有些神话为了提防各种错误或过度行为，会坦然承认自 己的源头可能有缺陷，并提出自我修正机

制，允许人类质疑和改变。美国宪法就是这样的神话。然而，面对人类根本无法理解的计算机神话，我们如何探究与纠正？

可能的一种防范方式是训练计算机时时注意自 己是否出错。正如苏格拉底所说，承认^“我不知道^”是通往智慧的重要一步。人类智能如此，计算机智能亦然。所有算法都该学的第一课，正是自 己也可能犯错。^“算法宝宝^”应该学会怀疑自 己，不确定就承认不确定，并且遵守预防原则。这是有可能做到的。在鼓励人工智能自我怀疑、寻求他人意见、承认自 己的错误这几个方面，工程师已经取得了长足的进步。

然而，不论算法是否意识到自 己可能出错，我们都不该在这个过程中完全排除人类的参与。鉴于人工智能的发展速度，人类绝不可能预料到未来的发展情况，对所有潜在的危险做好准备。这也是人工智能与历史上的其他威胁（例如核技术）的关键区别。人类很容易就能预料到核技术可能造成怎样的末日场景，最明显的就是爆发全面核战。但只要能够预料，就能够防范，并设法减轻危害。相较之下，人工智能可能带来的末日场景多到数不清。有些还算容易掌握，例如恐怖分子利用人工智能制造出大规模毁灭性生物武器；有些就比较难以理解，例如人工智能创造出新的大规模毁灭性心理武器；还有一些人类可能完全无法想象，因为那些出自非人类智能所做的运算。为了防范大量难以预料的威胁，我们最好的办法就是设置人类机构，在威胁出现时做出判断并加以应对。

古代犹太教徒和基督徒在发现《圣经》无法自圆其说的时候大失所望，不情不愿地让人类机构完成这个信息技术无法做到的事。但到₂₁世纪，人类面对的情况几乎彻底翻转，我们终于设计出了一套可以自圆其说的信息技术，但也正因如此，我们最好创设人类机构对其仔细监控。

总而言之，新的计算机网络不一定是好还是坏。我们能确定的是人类将很难理解这种网络，而且这种网络是会犯错的。因此，人类建立的机构除了要能够发现各种常见的人类弱点（例如贪婪与仇恨），还得有能力察觉从未见过的错误。这个难题无法用技术来解决，它是一个政治上的挑战。在政治上，我们有处理这个问题的意愿吗？现代人类创造了两种主要的政治制度：大规模民主和大规模极权。在本书第三部分，我们将探讨这两种制度如何应对这种新的且容易出错的计算机网络。

1. Nathan Larson, Aleksandr Solzhenitsyn and the Modern Russo-Jewish Question (Stuttgart:Ibidem Press, 2005), 16.

1. Aleksandr Solzhenitsyn, The Gulag Archipelago, 1918–1956: An Experiment in Literary Investigation, I–II (New York: Harper & Row, 1973), 69–70.

1. Jack Nicas, “YouTube Tops 1 Billion Hours of Video a Day, on Pace to Eclipse TV,”Wall Street Journal, Feb. 27, 2017, www.wsj.com/articles/youtube-tops-1-billion-hours-of-video-a day-on-pace-to-eclipse-tv-1488220851.

1. Ibid., 276–77.

www.theguardian.com/technology/2019/aug/10/youtube-susanwojcicki-ceo-where-line-removing-voices heard.

1. Dan Milmo, “Frances Haugen: ‘I Never Wanted to Be a Whistleblower. But Lives Were in Danger,’”Guardian, Oct. 24, 2021, www.theguardian.com/technology/2021/oct/24/frances haugen-i-never-wanted-to-be-a-whistleblower-but-lives-were-indanger.

1. Amnesty International, Social Atrocity, 44.

1. Ibid., 38.

1. Ibid., 42.

1. Ibid., 34.

1. “Facebook Ban of Racial Slur Sparks Debate in Burma,”Irrawaddy, May 31, 2017, www.irrawaddy.com/news/burma/facebook-ban-of-racial-slursparks-debate-in-burma.html.

1. Amnesty International, Social Atrocity, 34.

1. Karen Hao, “How Facebook and Google Fund Global Misinformation,”MIT Technology Review, Nov. 20, 2021, www.technologyreview.com/2021/11/20/1039076/facebookgoogle disinformation-clickbait/.

1. Hayley Tsukayama, “Facebook’s Changing Its News Feed. How Will It Affect What You See?,”Washington Post, Jan. 12, 2018, www.washingtonpost.com/news/theswitch/wp/2018/01/12/facebooks-changing-its-news-feed-howwill-it-affect-what-you-see/; Jonah Bromwich and Matthew Haag, “Facebook Is Changing. What Does That Mean to Your News Feed?,”New York Times, Jan. 12, 2018, www.nytimes.com/2018/01/12/technology/facebook-news-feed-