新黑暗时代：科技与未来的终结

在回应中，他们进一步强调了这一论断：“像大部分技术一样，机器学习本身是中性的。”他们坚称，如果机器学习“可以被用来放大社会计算问题中的人类偏见——就像有些人争辩的那样——那么它也同样能用于发现和纠正人类偏见”。无论他们是否清楚，但这一回应是基于我们不仅具有优化机器的能力，还具有优化自身的能力。

科技并非诞生于真空之中，而是一系列特定观念与愿望的具象化或许是无意识的，但它与其创造者具有同样的性情。无论什么时候，它都是由历经几代发展起来的概念与幻想组成，并且自身也经历过演化与文化变迁、教育与争辩、无尽的纠缠与互相包容。犯罪概率这一概念本身就是19世纪道德哲学的遗物，而用来“推断”它的神经网络则产自一种特定的世界观——思维与客观世界在表面上相互独立，从而强化了其运用时的表面中立性。继续坚持科技与世界之间存在客观割裂的观点本身没什么意义，但其造成的后果却真实存在。

将偏见编入代码的例子比比皆是。2009年，一位华裔战略顾问乔丝·王买了一台新的尼康COOLPIXS630相机作为母亲节礼物，但当她想试拍一张全家福时，却始终无法按下相机快门。相机出现错误提示：“有人眨眼了吗？”这台相机中预装了一款软件，要等到所有对象都睁着眼睛望向镜头时才能拍摄，但却没有考虑白种人以外的面部特征。12同年，德克萨斯州一家房车经销商的黑人雇员在YouTube网站上传了一个视频，传看甚广。在视频中，他新买的惠普漫游者摄像头没能识别出他的脸，却对焦到了他的白人同事脸上。“我要把这事记录下来，”他说，“我是说真的。

第六章认知

143

153

惠普电脑就是种族主义者。”13

视觉技术编码中带有偏见也不是什么新鲜事，特别是种族偏见。艺术家亚当·布鲁姆伯格（AdamBroomberg）和奥利弗·查那林（OliverChanarin）在2013年举办了一场展览，题为《在弱光中拍摄出黑马的细节》(To Photograph the Details of a DarkHorse in Low Light)，引用了柯达在 20 世纪 80年代研发一种新胶卷时使用的代号。在20世纪50年代，柯达销售了一款用于校正照片的测试卡，其中将白人女性定义为“正常”。让·吕克·戈达尔（Jean-Luc Godard）受托在莫桑比克拍摄时就曾拒绝使用柯达胶片，斥责其为种族主义者。但只有当糖果行业与家具行业这两大客户抱怨黑巧克力和深色椅子很难拍摄时，柯达公司才开始回应拍摄深色对象的需求。14布鲁姆伯格和查那林还研究了留存至今的宝丽来ID-2产品，这是一款被设计用于拍摄证件照的相机，带有一个特殊的“增强按钮”，可以通过闪光更容易地拍摄黑色对象。它在种族隔离时代很受南非政府的喜爱，但当宝丽来的美国黑人雇工发现它被用于拍摄恶名昭著的、被南非黑人称为“手铐”的有色人种通行证上的照片时，它便成为宝丽来革命工人运动（Polaroid Revolutionary Workers Movement）的抗议焦点。15

但尼康COOLPIX和惠普漫游者所运用的技术掩藏了一种更现代、更隐蔽的种族主义：它们的设计者并非有意要制造一台种族主义机器，它们也并未被用于种族定性；这些机器不过是揭示了当今技术工作者中仍然存在的系统性的不平等，即系统开发者和测试者仍以白人为主。（2009年，惠普的美国雇员中仅有6.74%为黑人。）16它也第一次揭示出，历史偏见已深深编码在我们的数据库中，编入了我们构建当代知识与决策的框架之中。

新黑暗时代科技与未来的终结

144

154

新技术会囫囵吞下昨天的错误，想要理解不假思索便实施新技术所带来的危险，就要对历史上的不公平情形保持警醒。我们无法使用过去的工具来解决今天的问题，就像艺术家、地理学家特雷弗·帕格林（TrevorPaglen）所指出的，人工智能的兴起反而放大了这些问题，因为它极度依赖于历史信息来作为自己的训练数据：“过去是个种族主义横行的时代，而我们只能用过去的数据来训练人工智能。”17

瓦尔特·本雅明（WalterBenjamin）对这个问题的措辞则更加尖锐，他在1940年写道：“没有一项文明的记录同时不是野蛮的记录。”18用过往知识的残余来训练初生的人工智能，就等于把这种野蛮编码进我们的未来。

而这些智能系统不只存在于学术论文和消费级相机里—它们已经在人们大量的日常生活中起着决定性作用。特别是在警察与司法体系中，人们已经广泛建立起对智能系统的信任。美国的在岗警察中，有一半已经使用了“预测性警务”（predictivepolicing）系统，比如PredPol，这款软件运用“高等数学、机器学习和已被证实的犯罪行为理论”来预测最可能出现新犯罪行为的时间地点，相当于针对违法行为的天气预报。19

那么，要如何通过日常生活中的随机事件生成对真实事件的预期呢?对行为的计算是如何承载起自然法则的力量？尽管已有各种尝试，但大地的一个念头要如何才能被人知晓？

浓尾大地震(Great Nōbi Earthquake）发生在1891年，位置在今天的日本爱知县境内，据估算，其震级达里氏8级。地震造成的断层长达50英里，落差达到8米，造成多个城市的数千间房屋倒塌，超过7000人死亡。直至今日，这仍是日本群岛已知的最大级别的地震。震后，早期地震学家大森房吉（FusakichiOmori）描述了余震的分布模式，被人们称为“大森定律”的频数衰减公式。值得注意的是，大森定律及其衍生理论都属于经验法则，也就是说，它们符合已知的震后数据，而这一数据在每次地震中均有不同。它们就像是余震，是已发生事件的隆隆回声。地震学家和统计学家经过几十年艰苦努力，也没能研究出类似算法来从相应的前震中预测出地震的发生。

第六章 认知

145

155

大森定律为这种运算在当代的应用传染型余震序列模型(epidemic type aftershock sequence，ETAS)——奠定了基础。今天，地震学家们用这一模型来研究一次主震后的一连串地震活动。2009年，洛杉矶加利福尼亚大学的数学家们报告称，城市中的犯罪模式也遵循同样的模型：“犯罪行为在当地的传染性传播，”他们写道，“会导致犯罪在时间和空间上聚集出现。……比如说，窃贼会反复盗窃邻近的一组目标，因为罪犯们知道这片区域的防范较为薄弱。一次帮派枪击会引发当地敌对团伙势力范围内的一连串报复性暴力行为。”20为描述这种行为模式，他们借用了地球物理学术语“自激”（self-excitation），即由附近的压力源触发事件并不断放大的过程。这些数学家们还注意到，当城市地形对应了地壳分层的拓扑结构时，犯罪风险往往会以横向穿过城市街道的方式蔓延。

今天的预测性警务软件就是在ETAS的基础上发展而来的，据估计，这一行业在2016年已有2500万美元产值，并且还在呈爆炸式增长。只要本市警察局使用了PredPol软件，如洛杉矶、亚特兰大、西雅图及其他数百个美国城市，就能使用ETAS分析当地过去数年间的犯罪数据时间、地点、类型等。模型源源不断地获得新的犯罪数据，并生成可能发生犯罪的实时热点地图。巡逻车向着快要“地震”的区域开去，警察们也被派往正在不停摇晃的角落。在这种方式中，犯罪变成了一种物理现象：一种穿行在由都市生活构成的地层中的地震波。预测结果成了支持截停、搜查、罚款、拘留的理由。一个世纪前的地震余波还在今天的街道上隆隆作响。

新黑暗时代|科技与未来的终结

156

只要用上足够的时间和思考，地震与犯罪的可预测性（或者不可预测性）、不透明系统的种族偏见都是我们能够理解的。它们都是基于一个已经经过长期检验的模型，也符合日常经验。但机器所产生的新的思想模型又当如何？这些决策与推理是我们无法理解的，因为它们是由与常人完全不同的认知过程所产生。

我们难以理解机器思维的一个方面在于其庞大的处理量。当谷歌在2016年对自己的翻译软件进行全面革新时，这款应用早已经被大量使用，并经常不小心闹出笑话。谷歌翻译发布于2006年，使用的是一种名为语言统计推断的技术。这一系统并不试图理解语法规则，而是大量吸收现有的翻译语料，即以不同语言表述同一内容的文本。这就是克里斯·安德森所说“理论的终结”在语言学上的体现；语言统计推断最早由IBM在20世纪90年代提出，它抛弃了传统的领域知识[1]，转而支持使用大量原始数据。弗雷德里克·耶利内克（FrederickJelinek）是主持IBM语言项目的研究员，他有一句名言：“每次我解雇一位语言学家，语音识别系统的表现就更好一些。”21统计推断的作用就是从方程式中去掉认知理解，而代之以数据驱动的相关性。

第六章 认知

146

157

在一定意义上，机器翻译已经接近本雅明在1921年的论文《译者的任务》(The Taskof the Translator’）中所描述的理想状态：最忠实的翻译应当忽略原有的上下文，而让更深的含义显现出来。本雅明坚持认为，选词的重要性高于句子，表达方式的重要性高于实际内容：“真正的翻译是全透明的，”他写道，“不会覆盖原文，不会掩盖它的光芒，而是以纯粹的、但受自身媒介强化的语言更充分地照耀着原文。”22本雅明对译者的要求并不是努力传达原作者的意思—“对非核心内容的并不精确的传递”——而是要交换双方的表达方式。表达方式在写作中是独一无二的，因而在翻译中也是一样。这样的工作“可以通过逐字转换达成，从而证明词语而非句子才是翻译者的基本元素”；只有仔细研读词汇的选择，而不是堆砌表面上有意义的句子，才能让我们获得原文的更高层含义。但本雅明又说：“如果说句子是挡在原文之前的高墙，直译就是一道拱廊。”翻译总是有所不足：它突出了不同语言间的距离，而不是将它们连接在一起。只有当我们接受了“语言之间的距离、差异、缺少对应和难以匹配”，才能让拱廊保持通风—翻译并不是意义的传递，而是觉察到意义的缺失。23看起来，机器在拱廊中并无用武之地。（如果看到谷歌翻译的语料库中全是联合国和欧洲议会的多语言会议记录，本雅明又会作何感想？24这是野蛮又一次被编入代码的例证。)

新黑暗时代|科技与未来的终结

147

[1]领域知识（domain knowledge）：指特定的、专门的学科或领域的知识，与常识（general knowledge）相反。这一术语通常用于指一种更普遍的学科，例如，在描述一位具有编程常识的软件工程师时，以及在制药业的领域知识中。拥有领域知识的人通常被认为是该领域的专家。——编辑注

158

2016年，这种情形发生了变化。翻译系统不是在文本间使用严格的统计推断，而是开始使用由谷歌大脑研发的一套神经网络，从而在功能上获得了指数级的飞跃。这一网络不再埋头于文本堆里进行简单的交叉引用，而是建立起自己对世界的模型，其结果也不再是词语间二维连接的集合，而是反映整片疆域的地图。在这种新的架构中，词汇以彼此在语义网络中的距离来进行编码——这种网络只有机器可以理解。一个人可以轻易在“水池”和“水”之间连一条线，但要在一张图上画出“水池”和“革命”、“水”和“流动性”之间的连线，再加上由这些联系生发出的所有情感与推断，就很快变得不可能办到了。这张图是多维度的，向多个方向延伸，超出了人类思维能处理的范围。正如一位谷歌工程师在被记者要求形象化解释下这个系统时所说的：“我一般不愿意在三维空间里去视觉化一个上千维度的向量。”25机器学习就是在这样一个看不见的空间里创造着意义。

这些事物不仅是我们无法视觉化的，甚至也是我们无法理解的：一种不可知性正以其纯粹的疏离压向我们不过反过来说，也正是因为这种疏离感才使其更像是一种智慧体。1997年，国际象棋卫冕冠军加里·卡斯帕罗夫(GarryKasparov)在纽约迎战“深蓝”—一台由IBM专门设计用来打败他的计算机。前一年他们在费城也有一场类似的较量，当时卡斯帕罗夫以4比2取胜，因此，这位被誉为古往今来最伟大棋手的男人十分自信能取得胜利。当他落败时，他争辩说深蓝有几步棋实在太聪明、太有创意了，一定是人工干预的结果。但我们能理解深蓝能下出这几步棋的原因：它的决策过程完全是依靠蛮力，依靠的是14000个定制的国际象棋芯片形成的并联结构，是每秒钟分析2亿个盘面形势的能力。在参加这场比赛时，它的计算能力在全世界计算机中居第259位，并且纯粹用来下国际象棋。因此它在选择下一步所走的位置时，就是能比人类考虑更多可能的结果。卡斯帕罗夫并不是败于思维深度，而是纯属火力不足。

第六章 认知

148

159

与此相比，当由谷歌大脑赋能的阿尔法围棋（AlphaGo）打败韩国职业围棋选手、世界顶级棋手李世石时，情况已发生了些变化。在五局比赛中的第二局，阿尔法围棋所下的一步棋震惊了李世石和观众们，它在棋盘远端布了一子，仿佛是要放弃战斗。“这真是奇怪的一着棋”，一位评论员说。“我想这是一个失误”，另一位评论员也说道。樊麾是另一位经验丰富的围棋老将，在6个月前成为第一个败给机器的职业围棋棋手，他对此评论道：“这不是人类的下法，我从没见过一个人这么下棋。”但他又加了一句：“真美。”26在这种已有2500年历史的棋类游戏中，还从未有人采用这种下法。阿尔法围棋很快赢下这一局，然后是整场比赛。

阿尔法围棋的工程师们将围棋高手的数百万步下法输入神经网络，再让它与自己对弈数百万次，从而发展出超越人类棋手的策略。但它对自身策略表达得含糊不清：我们只能看到它的落子，却看不到它的决策过程。阿尔法围棋在自己左右互搏的棋局中用

新黑暗时代|科技与未来的终结

149

16□

令人怀念的已故作家伊恩·M.班克斯（IainM.Banks）把这种与自己对弈的地方叫做“无限乐土”(InfiniteFun Space)。27在班克斯的科幻小说里，他称为“文明”的世界是由温和、超智慧的人工智能“主脑”统治。虽然主脑最初是由人类（或者说某种碳基生物体）创造的，但它们早已青出于蓝，对自己进行了重新设计和改造，变得神秘且全能。在控制飞船与行星、指挥战争、照顾数十亿人之余，主脑也有自己的娱乐活动，其中涉及的思维运算已经超出了人类的理解范围。主脑有能力在想象中模拟出整个宇宙，其中有些就已永久退入到无限乐土中去。这是个具有元数学（meta-mathematical）可能性的领域，只允许超人类的人工智能进入。而我们人类要是在游戏中心玩腻了，就只能获得有限乐趣，只能徒劳无功地分析着机器所做的超出我们理解能力的决策。

然而机器智能的一些操作并不停留在“无限乐土”，相反，它们在世界上创造了一种未知：新的图像，新的面孔，新的、未知的或虚假的事件。就像语言可以被视为一个意义互斥的无线网络，同样的方法也适用于任何可以用数学来描述的事物，也即在多维空间中由加权连接构成的网络。如果词语来自人体，那么就算去掉与人相关的含义，也仍然与其存在联系，并且可以根据与语义相对的数字来进行运算。在一张语义网中，定义“王后”一词的力作用线——向量——就与“国王-男人+女人”所构成的相一致。28这个网络能按照向量的路径推断“国王”和“王后”

第六章 认知

到的棋着一定也复杂到超乎想象，但我们恐怕永远无法看到它们并表示赞叹：复杂性无法量化，只能依赖直觉。

150

161

之间的性别关系。而它对人脸也能进行同样的操作。

给定一组人脸图像，神经网络不仅能沿图中的力作用线执行计算，还能生成新的结果。一组微笑的女人、不笑的女人及不笑的男人的照片可以用于计算生成微笑的男人的全新图像，这正是Facebook的研究人员在2015年发表的一篇论文中所证明的。29

在这篇论文中，研究者们生成了一系列新图像。使用从一次大规模图像识别挑战中选出的超过300万张卧室照片，他们的神经网络生成了新的卧室:真实世界中并未出现过的颜色与家具组合，但却是卧室各个元素向量的交集—墙、窗子、被子和枕头。机器并不做梦，却梦见了梦想中的卧室。但这些面孔——类似于我们自己的——却在心中萦绕不去：这些人是谁，他们在笑什么?

当这些梦境与我们自己的记忆交错起来，就愈发显得诡异。罗伯特·艾略特·史密斯是伦敦大学学院的一名人工智能研究者，2014年他携全家从法国度假归来，带着装满照片的手机。他把一部分照片上传到Google+上以便与妻子共享，但却在浏览照片时发现有些异样。30在一张照片中，他看到自己和妻子坐在一家餐厅的桌边，两人都微笑看着镜头，但他从没拍过这张照片。真实情况是：一天午餐时，他父亲在手机按钮上按的时间长了些，拍下了一系列同一场景的照片。史密斯上传了其中两张，想看看妻子更喜欢哪张。一张照片中他在笑，妻子没笑；而另一张照片中妻子笑了，他却没笑。谷歌的照片分类算法用这两张先后间隔几秒的照片合成了第三张：两位被拍摄者都呈现出“最佳”笑容的组合。这个算法属于一个名为“自动美化”（之后改名为“助手”)的软件包，能对上传的图片进行微调“美化”——加上怀旧风格的滤镜、做成有趣的动画，等等。但在这个例子中，结果却是一张从未发生过的照片：一段虚假的记忆，一段被改写的历史。

152

新黑暗时代科技与未来的终结

151

162