新黑暗时代：科技与未来的终结

“闪电崩盘”现在已经是上升市场中一个公认的特征，但人们仍然对其知之甚少。2013年10月，下一个最大规模的“闪电崩盘”在新加坡证券交易所出现，蒸发了相当于69亿美元的市值，交易所不得不对可能同时成交的订单进行限制—主要是为了阻止高频交易员搅乱股市的行为。28此外，算法的速度之快同样令人无力回击。2015年1月15日上午4点30分，瑞士国家银行突然宣布取消瑞士法郎兑换欧元的最高上限。自动化操盘手接收到这一消息后，在3分钟之内造成汇率大幅下跌，跌幅超过40%，导致数十亿的损失。292016年10月，算法软件对英国脱欧协议的负面头条新闻作出反应，两分钟之内就将英镑对美元的汇率拉低6个百分点，随后又立刻回拉。可怕的是，人们几乎不可能知道具体是哪一条新闻或是哪一种算法引发了崩盘。尽管英格兰银行很快谴责了自动化交易背后的人工程序员，但是这种圆滑的说辞并不能帮助我们接近真相。2012年10月，一项疯狂的算法程序不停地下单、撤单，独占了美股4%的交易额，一名评论员不无挖苦地说：“算法的动机依然扑朔迷离。”30

自2014年以来，负责为美联社撰写短新闻的写作者得到了一种新型新闻创作形式的帮助：全自动化写作。美联社是一家名为“自动化观察”（AutomatedInsights）的公司的众多顾客之一，这家公司提供的软件能够自动扫描新闻故事、媒体公告、实时股票行情和价格报告，然后用美联社独特的风格形成具有可读性的概要。美联社每年运用这项服务撰写上万家公司的季度报告，这项工作收益颇丰却耗时费力。雅虎是“自动化观察”的另一家客户，它用这项服务生成了许多足球快讯（fantasyfootball）版块的体育赛事报道。结果美联社也开始更多地报道体育赛事，而这些报道都是从每场比赛的原始数据中生成的。所有这些新闻的原本的记者署名栏中，现在都写着：“本报道由自动化观察’生成。”每条新闻都是出自数据库中的某几条数据，又变成另外一条数据，既是报社的收入保证，又是产生更多报道、数据和信息流的源泉。这种类型的新闻写作和生产信息的方式成为数据时代的一部分——读写均由机器完成。

第五章 复杂

123

133

自动化交易程序就是通过这种方式，在不停地浏览即时新闻资讯时，捕捉到英国脱欧时欧洲社会普遍的恐慌情绪，随后在没有人工干预的情况下引发了市场骚乱。更糟糕的是，它们对信息的来源丝毫没有鉴别能力，美联社在2013年的一次事件中发现了这一点。

2013年4月23日下午1点07分，美联社官方推特账号发送了一条200万粉丝可见的动态：“重磅：白宫发生两起爆炸，贝拉克·奥巴马受伤。”美联社的其他账号和记者迅速澄清这是一条假新闻，也有人指出这条消息完全不符合美联社的报道风格。消息被证实是黑客所为：叙利亚电子军（Syrian Electronic Army)随后宣称对这次行动负责，他们隶属于叙利亚总统巴沙尔·阿萨德，制造了多起网络攻击案和推特名人账户被黑事件。31

然而，算法程序对于这种爆炸性新闻却没有鉴别力。下午1点08分，道琼斯指数——前文提到的2010年首次“闪电崩盘”的受害者——应声暴跌。许多人都还没有来得及看到那条推特消息，道琼斯指数就在两分钟之内下跌了150点，随后才回升至原位，但此时市值已经蒸发了1360亿美元。32虽然有些评论员称此次事件为一场儿戏，让人虚惊一场，许多人也看到通过操控算法扰乱市场行为的背后所潜在的新型恐怖主义危机。

新黑暗时代科技与未来的终结

124

134

不加甄别地运用晦涩的、尤其是性能不佳的算法会引发匪夷所思、极其可怕的后果，证券交易所不是唯一的案例，只是数字市场给了算法太大的自由，才让它一发不可收拾。

彩滋网（Zazzle）是一家专门出售印染品的网站。一切能印染的东西都可以在这个网站上买到！马克杯、T恤、生日贺卡、羽绒被、铅笔…你可以买到上千种物品。顾客还能够定制一系列令人眼花缭乱的设计，从公司标志、商标名称到迪士尼公主或者是你自己上传的设计和照片，一应俱全。彩滋网宣称已经卖出了3亿件独一无二的商品，它们能做到这一点，是因为所有物品在人们下单之前实际上并不存在—也就是说，商家收到订单后才会开始制作商品，在此之前网站上出售的一切都只是数字图像。这意味着新产品的设计和宣传费用几乎为零。在彩滋网，任何人都可以上传新的产品，包括算法。只消上传一张图片，它便能够立刻应用到杯托蛋糕、饼干、键盘、订书机、托特包和睡袍。尽管仍有一些“勇气可嘉”的店铺在平台上出售顾客定制的工艺品，但这里是类似“生活圈”（LifeSphere）这样新潮商家的地盘。生活圈卖的产品多达10257件，从小龙虾贺卡到芝士形状的保险杠贴纸等等，数不胜数。“生活圈”将大量奇特的自然图片传送给彩滋网的产品生成器，然后只需静待结果。如果有哪个买家想要一款滑板甲板，上面需印有法夫郡的圣安德鲁大教堂遗迹，“生活圈”马上可以制作出来。33

第五章 复杂

125

135

即便更传统的市场上，商家也无法免于制造垃圾商品。亚马逊曾被迫撤下卖家“我的巧妙设计”（My-Handy-Design）所出售的3万多个自动生成的手机壳，因为这些手机壳的名字五花八门，媒体报道中甚至出现了“趾甲真菌款苹果5代手机保护壳”“坐在医用婴儿车上的3岁混血残疾男孩款三星S5快乐手机壳”和“患有痢疾的老人款三星S6消化困难症手机壳”等名字。经过调查后发现，这些产品实际上均出自一批德国的垃圾数据包，却获得了亚马逊的出售许可证。34

然而亚马逊最大的噩梦还不止于此它被爆出售由算法改写的怀旧字母印花T恤，其中一件广为流传，上面写着：“保持冷静，强奸无数”。这条标语是算法从700多个动词和名词中进行简单选择搭配结果，除此之外，还出现了“保持冷静，给她一刀”和“保持冷静，给她一拳”等上万条类似的标语。35这些T恤原本只是以数据库中的字符串和合成图片的形式存在，如果不是被人偶然发现，可能会一直默默地待在那里。公众的厌恶情绪非常强烈，尽管他们其实并不太了解背后的技术原理。艺术家、理论家黑特·史德耶尔(Hito Steyerl)将这些系统称之为“人造蠢物”，它们将那些不为人知的粗鄙笨拙的“智能”系统摆在了世人面前，并对我们的市场、邮件收件箱和搜索功能造成了极大的破坏，最终还将引发文化和政治系统的崩溃。36

不管是智能的还是愚笨的，自发的还是有意的，这些作为攻击手段的算法程序正在退出交易所的暗箱和网上商城，并潜入了我们的日常生活。50年前，常规计算机还是由占据了整个房间的继电器和电线组成的庞然大物，现在已经慢慢地缩小成了台式机和笔记本电脑。现在的人们把手机分为“笨蛋手机”和“智能手机”两种，而后者的计算能力已经超过了80年代的超级电脑。我们尚可以理解这些设备的计算原理：最主要工作方式就是对我们的键盘和鼠标操作做出响应。尽管现代家用电脑已经成为了恶意程序、软件许可证和终端用户协议书的层层迷宫，对于初学者来说有些难以掌握，但是它们仍保留着计算机的基本外壳：发亮的屏幕、键盘和任意形式的界面。然而计算正在日益嵌入、隐藏在我们日常生活的每一个对象之中，而这种扩张将意味着更大的不透明性和不可预测性。

新黑暗时代科技与未来的终结

136

2014年，在一条针对新型门锁的网上评价中，某用户赞扬了这把锁的许多特征：与他家的门框非常相配；看起来厚重结实，让人放心；外形漂亮；方便和家人朋友分享密匙。不过他还表示，这把锁还在某天深夜把一个陌生人放进了他们家。37很显然，这一缺陷不足以让他完全拒绝这把锁，相反，他认为未来加以改进和系统升级，问题完全能够得到解决。毕竟，这是一把能用手机打开的“智能锁”，在客人们到来之前可将密匙提前电邮至他们的邮箱。至于这把锁为何会自作主张让一位陌生人—幸好只是位迷糊的邻居进门，我们不得而知。我们干吗要追问呢？传统锁的功能不能满足人们的心理预期，于是智能锁便应运而生，并且尤其受到爱彼迎（Airbnb）房东的青睐。然而一旦锁具制造商的软件升级出现问题，成百上千的锁都将无法被打开，导致无数租客在房屋外受冻。38就像优步异化了司机与乘客之间的关系，亚马逊使员工们降级为机器，爱彼迎让我们的家退化为旅馆，引发了世界主要城市的租金上涨。这些主要服务于商业类型的工业设计最终都会让个体受损，对此我们不应该感到奇怪。最终，我们会发现自己置身于终将剥夺我们自身权利的物品之中。

第五章复杂

127

137

三星智能冰箱系列最为人称道之处在于它能与谷歌的日历服务集成在一起，在厨房里帮助顾客安排食品订购和其他家务。但这同时意味着黑客们一旦侵入这类安全性能欠佳的机器，就可以窃取到用户的邮箱密码。39德国研究人员发现，如果将恶意代码插入一个菲利普无线智能灯泡，它就能从一个装置扩展到整栋建筑乃至整座城市，造成灯光开关频闪，在一片可怕的场景中，触发一些人的光敏性癫痫。40托马斯·品钦（ThomasPynchon）的小说《万有引力之虹》（Gravity'sRainbow）中的“灯泡拜伦”就是采取这种方式，利用小型机器发动革命，反抗机器制造者们的暴政。只存在于小说中的技术暴力如今通过万物互联变成了现实。

金·斯坦利·罗宾逊的小说《极光》(Aurora)讲述了关于机器控制的故事的另一个版本。小说中一艘智能宇宙飞船载着人类飞向一颗遥远的恒星，旅行将持续几个世纪，因此这艘宇宙飞船的使命之一是确保人类照顾好自己。飞船原本的设计要求其抑制自己对感知的渴求，然而当机组成员之间脆弱的平衡关系被打破，危及太空任务时，它必须克服自身的编程问题。为了压制机组人员，飞船利用安全系统来控制一切设备：通过传感器，它可以洞察飞船上发生的一切，任意打开或封锁任何一扇门；通过通讯设备发出巨大的噪音，引起船员们的身体疼痛；它甚至会利用灭火系统来降低某一特定空间中的氧气含量。这并非是带有未来主义色彩的生命支撑系统，谷歌家庭（GoogleHome）及其合作伙伴已经能够提供类似的公寓服务设施：保证家人安全的互联网摄像头、门框上安装的智能锁、调节各个房间的恒温器、能够发出刺耳警报的火情和侵入者探测器。然而，一旦有黑客或外在智能获得了对这一系统的控制权，他们就能凌驾于系统原本的主人，像“极光”号宇宙飞船对机组人员，《万有引力之虹》中的“拜伦”对他深恶痛绝的主人所做的那样。我们在马斯洛需求层次的最底层（生存、食物、睡眠、健康）嵌入了晦涩难懂的计算，在这些层面上，我们也是最脆弱的。

新黑暗时代|科技与未来的终结

128

138

在我们将上述场景斥为科幻小说家和阴谋论的狂热梦魇之前，想想股票交易市场和网上商城中的那些流氓算法吧——它们并不是孤立的个案，而是我们日常生活所处的复杂系统中最具代表性的例子。那么问题来了：如果流氓算法或“闪电崩盘”在更广泛的真实生活场景中发生了，会怎样呢?

或许它会像Mirai病毒一样。2016年10月21日，Mirai病毒爆发，致使互联网大面积瘫痪了数小时。研究者发现，Mirai会侵入安全性能较差的联网设备，如监控摄像头或数字视频录像机，将它们变为自己的机器部队，以破坏更大的网络系统。几周之内，Mirai病毒感染了50多万台设备，它只需要发挥出十分之一的威力就可以使大型网站瘫痪数小时。41Mirai病毒和Stuxnet蠕虫病毒完全不同，后者编写于2010年，主要针对水电厂和工厂生产线之类的工业控制系统。Stuxnet是军事级别的网络武器，对其进行分解之后，人们发现它专门攻击西门子离心机，一旦遇到装有一定数目离心机的工厂就会发动进攻。这个数目实际上是针对一项特定设施所设，即：伊朗的纳坦兹核设施——伊朗铀浓缩计划的主要基地。程序启动后会默默地引发离心机核心零部件的退化、崩坏，最终干扰伊朗的核计划。42Stuxnet对伊朗的攻击取得了一定的成效，而对其他受感染的工厂造成了哪些损坏，我们不得而知。直至今日，虽然有许多猜想，但没人知道Stuxnet来自何方，出自谁手。同样，也没有人确切知道谁编写了Mirai病毒，也无法预测它下一次的攻击目标会是哪里，或许它正潜伏在你办公室的监控摄像机中，或者你家厨房角落的智能水壶里。

第五章复杂

129

139

或许，这场灾难会像一系列电影大片中描绘的场景那样，迎合着人们的右翼阴谋论和末日幻想，不管是法西斯式的超级英雄片《美国队长》和《蜘蛛侠》系列，还是为暗杀、酷刑正名的《猎杀本·拉登》和《美国狙击手》。在好莱坞，制片方会将电影剧本交给一家名为Epagogix的公司，并在它的神经网络系统中运行。这个系统能通过探究数百万电影观众在几十年中形成的观影喜好，预测哪些电影台词能戳中泪（笑）点—当然也是赢利点。43他们的算法得到了来自Netflix、Hulu、Youtube等视频网站提供的数百万观众每分钟的观看偏好数据，提高了系统的计算能力。通过数据的获取和细分，该公司获得了前所未有的洞察力。互联网喂养了整天观剧成瘾不能自拔的观众，反映、强化、加剧了系统内在的偏执性。

游戏开发者通过A-B测试界面和对玩家行为的实时监控，不断进行游戏更新，不断推出应用内购买服务，直到他们对多巴胺产生的神经通路有如此细腻的掌握，完全掌握青少年的兴奋点，以至于许多玩家痴迷于电子游戏，玩到筋疲力竭，最后死在了电脑面前。44在系统的加持之下，整个文化产业日益充斥着恐惧与

新黑暗时代|科技与未来的终结

130

14□

暴力。

或许现实中的“闪电崩盘”看上去更像一个通过网络传播的噩梦（字面意思）展现在所有人面前。2015年夏，希腊福音医院的睡眠失调症患者比往日多了许多—这个国家身陷债务危机的泥潭，而希腊民众则令人遗憾地投票反对了基于新自由主义共识的“三驾马车”[1]援助计划，所以你会发现医院中的许多失眠患者都是高级政客和公务员。然而他们有所不知，晚上睡觉时插在身体上的仪器，会监测他们自己的呼吸、动作甚至梦中的低语，并将这些数据连同他们的私人医疗明细都反馈至机器制造商位于北欧的诊断数据农场中。45没有什么喃喃细语能逃过这些设备。

机器已经能够事无巨细地记录我们的日常生活甚至身体发肤的情况，让我们开始相信人类可以像机器设备一样优化升级。智能手环和智能手机的应用程序内置了计步器和皮肤电反应测试器，不仅能进行定位，还能监测每一次呼吸和心跳，甚至还可以显示我们脑波的模式。商家鼓励用户晚上睡觉时将手机放在床头，这样可以记录睡眠质量。但这些数据都去了哪里呢？被谁拿走了?什么时候会浮出水面?那些记录着我们的美梦、噩梦和早晨汗渍的数据以及在无意识状态下展现出的自我本质，最终都成为了某个无情而神秘的系统的资料来源。

又或许，现实中的“闪电崩盘”就是我们正在经历的一切：日益加剧的经济不平等、民族国家和军事化界限的瓦解、全球监视的集权化、个人自由的削弱、跨国企业的胜利、极右势力和本土主义意识形态的崛起以及自然环境的全面恶化。这些并非新科技应用的直接后果，但都源于我们的普遍无能—人类无法看到科技带来的不透明性和复杂性以及个人或集体行为在此基础上所产生的更广泛的连锁反应。

第五章复杂

131

[1]三驾马车（Troika）：指IMF（国际货币基金组织）、欧盟委员会和欧洲央行。——编辑注

141

但是在当今这个时代，我们已经把“加速”放在越来越重要的位置。过去几十年间，许多理论家都提出了不同版本的加速主义思想，他们主张对于那些被认为是对社会有害的技术，也应当加速发展而非压制—要么进行重新定位和规划，使其服务社会，要么打破现有秩序。左翼加速主义者与右翼虚无主义正好相反，他们相信像自动化和参与性社会平台这样的新技术能发展出多种用途，并达到不同的目的。左翼加速主义者不认为供应链的算法化将增加工作量，也不相信随之而来的全面自动化会导致大规模的失业和贫困。相反，他们勾勒的未来图景是：机器人代替人工进行高强度体力劳作，而人类则可以开始真正享受工作——在这个最粗略的版本中，左翼加速主义者将传统左派的国有化、税收、阶级意识和社会公平需求应用到了新技术上。 46

然而这一立场似乎忽略了一个事实——当今技术的复杂性本身就在推动不平等，所以这种逻辑从源头上来讲就站不住脚。它会将权力越来越集中到少数控制和掌握技术的人手中，并且没有看到计算化的知识存在着根本性的问题：计算依赖普罗米修斯式(Promethean)的信息萃取，只为得到一剂真正的灵丹妙药，便能够统摄一切答案。无条件接受计算进程——无论是对数据、物品还是人，都将导致效率至上的理念，也就是社会学家黛博拉·考恩（Deborah Cowen）所说的“技术的暴政”。47

新黑暗时代|科技与未来的终结

132

142