新黑暗时代：科技与未来的终结

这些视频的观看量值得认真推敲。就像大量视频是由自动化软件——机器人——所制作的，观看它们的也可能是机器人，甚至连评论都可能是机器人写的。机器人制作者和谷歌机器学习算法之间展开了一场军备竞赛，而谷歌早早就在多个方面一败涂地。不过谷歌没什么理由来认真对待这一竞赛：虽然它在公开场合可能会谴责、贬低使用机器人的行为，但它们大量增加了广告的播放量，从而为谷歌带来了可观的收入。但这种合谋不能模糊事实，还有很多真正的孩子正沉迷于手机和平板电脑，学着在浏览器里输入简单的搜索项，或者只需捶几下侧边栏，把下一部视频调出来。他们一遍一遍看着这些视频—成为飞涨的浏览量的一部分。越来越多的情况下，只要用语音指令就能唤出相关内容。

当人们重现在这个怪圈中时，事情变得益发诡异了。品客薯片罐（Pringles Tin）和不可思议的浩克（IncredibleHulk）3D手指家庭还比较好理解，至少从程序的角度上看是这样，但聘用真人演员的知名频道也开始以同样的逻辑制作视频，而且并不是出于获取点击量的需要。在某种意义上，要确定其中有多大程度是自动化完成，或者分析出人与机器的差异，已经变得不太可能。

第九章并发

223

243

跳跳巡逻队（BouncePatrol）是一家墨尔本的儿童娱乐公司，就像他们的澳大利亚同胞摇摆合唱团（Wiggles）一样，也遵循着前数码时代儿童感知中色彩鲜艳的传统。他们在YouTube上开设的“跳跳巡逻队孩子”（Bounce Patrol Kids）频道拥有约200万个订阅者，每过一周左右就会上传一个由真人出演、专业制作的视频。10但跳跳巡逻队的制作却是紧跟着算法推荐的非人逻辑，结果就是一群人没完没了地把算法生成的关键词组合给演出来，这真是诡异至极：《万圣节手指家庭和孩子的万圣节歌曲儿童万圣节歌曲合集》《澳大利亚动物手指家庭|手指家庭儿歌》《农场动物万圣节歌曲和更多动物歌曲|手指家庭合集一学习动物叫》《野生动物手指家庭歌|大象、狮子、长颈鹿、斑马和河马！孩子的野生动物》《超级英雄手指家庭及更多手指家庭歌！超级英雄手指家庭合集》《蝙蝠侠手指家庭歌一超级英雄和恶棍！蝙蝠侠、小丑、谜语人、猫女》，如此等等。这就像老式的即兴表演，只不过在大声表演的是一台满足了10亿个超级活跃的幼童的需求的电脑。这就是算法发掘时代的内容生产方式：就算你是人，最后也会开始模仿机器。

我们之前也遇到过全自动化造成的恼人结果，比如亚马逊手机壳和强奸主题的T恤。没有人会故意在手机壳上印制药品和医疗设备的图案，这只是概率造成的奇怪结果。同样的，印着“保持安静，强奸无数”的T恤令人失望——而且令人忧虑——但却可以理解。没人打算把T恤印成这样，他们只是把未经检查的动词与代词列表组合起来放进在线图片生成器里。这种T恤很可能不会真正存在，当然也不会被买到或者穿在身上，所以不会造成什么危害。但严重的是，制作这些东西的人以及它们的经销商都没有留意到这些内容。他们是真的不知道自己在做什么。

新黑暗时代|科技与未来的终结

244

越来越明显的是，这一系统的规模与逻辑与这些产品的出品脱不了干系，这也迫使我们思考它们的深层含义。正如前文所举的例子，这些结果中承载的社会影响更为广泛，比如大数据和机器智能驱动系统中的种族歧视、性别偏见，而且也同样无法轻易找到解决方式，甚至连差强人意的都没有。

怎么理解一个标题为《错头迪斯尼错耳朵错腿儿童颜色学习手指家庭2017儿歌》的视频?光是看这个标题就可以确定它是自动化的产物。“错头”（WrongHeads)最初指代的是什么？现在仍然是个谜。但很容易想象，就像手指家庭歌一样，某个地方肯定出现过一个无害的原创版本，让很多孩子看得哈哈大笑，从而开始在算法排序中爬升，直到进入词语大杂烩的候选清单中。在那儿，它和“颜色学习”“手指家庭”“儿歌”等标题结合在一起——不仅仅是词语，还包括图像、情节和动作——混搭成这个特定组合。

视频中一边播放着手指家庭歌，一边播放着迪斯尼《阿拉丁》中的角色们头与身体轮换配对的动画。开始时还没什么问题，如果出现了错配，怪事就开始了，视频中出现了《阿拉丁》中没有的角色——阿格蕾丝(Agnes),即环球影业《神偷奶爸DespicableMe)中的小女孩。阿格蕾丝在情景中扮演着裁判的角色：当头和身子搭配正确时，她会欢呼；而搭配错误时，她会号啕大哭。机制很清晰，结果也很乏味：最有限的努力，制造出最少的意义。

这个视频的制作者“宝宝乐电视”（BABYFUNTV)已经制作了许多类似的视频，几乎全部都是按照同样的套路。迪斯尼动画《头脑特工队》中的角色霍普在《蓝精灵》和《魔发精灵》换头时痛哭，神奇女侠在《X战警》中抽泣，诸如此类。宝宝乐电视只有170个订阅者，点击率也很少，但还有成千上万个与此类似的频道。YouTube和其他内容整合平台上的观看量从摘选结果来看都不大，但累计起来就非常可观。“错头”背后的运行机制非常清晰，但对不同主题的不断堆叠混搭却开始对成人的感知造成困扰：我们越来越感到有某种非人的东西，感到我们与生产这类内容的系统间出现了“恐怖谷效应”[1]。在表面的内容背后更深的地方，似乎出了错。

225

第九章并发

245

在宝宝乐的“错头”视频中，每一部里都有一个完全相同的哭泣小孩的数字形象。我们可能觉得它烦人，但很可能这种声音——就像《天线宝宝》中在太阳里咯咯笑的婴儿——能提供某种节奏或韵律，或者与人类宝宝的自身经历产生某种联系，从而让他们被这种内容吸引。但没有人要决定这么做，这完全是任由算法进行复制与重组，其中没有人工指导，而且也没人真想看到这个。而当这种无尽的流通与放大的循环回到人类这里时，又会发生什么呢?

“玩具怪人”(Toy Freaks)是YouTube上非常受欢迎的一个频道——全平台第68名，拥有840万订阅者——主打的是一位父亲和他的两个女儿来扮演上述提及的许多主题，就和跳跳巡逻队的原理一样：女孩儿们打开惊喜蛋，然后唱起应景的不同版本手指家庭歌。除了儿歌和颜色以学习视频外，玩具怪人还特别擅长创作令人作呕的场景，比如食物大战、在浴缸里装满假虫子之类。玩具怪人已经引起了一定争议，观看者认为这些视频拍摄了儿童呕吐、流血、痛苦的画面，已经踩上了虐待与剥削的边界——如果还不算完全越界的话。11玩具怪人是通过YouTube认证的频道，但所谓认证，也不过是意味着频道订阅人数达到10万以上而已。12

新黑暗时代|科技与未来的终结

[1] 恐怖谷效应（uncanny valley）：一个关于人类对机器人和非人类物体的感觉的假设，由日本机器人专家森昌弘在1969年提出。即人形玩具或机器人的仿真度越高，人们对其越有好感，但当超过一个临界点时，这种好感度会突然降低，越像人越而反感到恐惧，一点点的差别都会显得非常刺目，直至谷底，称之为“恐怖谷”。——编辑注

246

和它的模仿者相比，玩具怪人甚至还算是比较温和的。有一个名为“怪异家庭”（FreakFamily）的越南版节目，讲的是一个年轻姑娘喝卫浴产品、用剃刀自残的情节。13在其他地方，孩子从泥浆河里钓出色彩鲜艳的自动化武器；真人扮演的《冰雪奇缘》(Frozen)里的艾莎在游泳池里溺水；蜘蛛侠入侵一家泰国海滨度假村，用缠在穿着比基尼的半大孩子身上的胶带来教人认识颜色；警察带着大号的娃娃头套和橡皮小丑面具恐吓一家俄罗斯水上乐园里的游客。玩具怪人这类由真人主演的热门频道不断扩展这些套路，让它们在互联网上反复出现，并且被重组得越来越怪异、越来越扭曲。确实存在一种暴力与堕落的潜在趋势——希望不是来自于某些真实孩子恶趣味的黑暗想象。

就像网上很多地方一样，YouTube上的有些版块长期以来充斥着一种肆意冒犯的文化，对什么东西都不尊重。YouTube恶搞帮（YouTubePoop）就是这样一种亚文化，他们将其他视频剪辑混接成大体上无害、但有意冒犯的版本，在儿童电视节目里加配上脏话叫骂和有关毒品的台词。这对家长来说往往也是最为诡异的一类。原版《小猪佩奇》里有一集很受欢迎，讲的是佩奇看牙医的故事——但令人不解的是，看上去像是原版的那个视频只能在一个非官方频道里找到。在原版的情节中，佩奇由一位和善的牙医妥善安抚着。但在“小猪佩奇牙医”的搜索结果中排名很靠前的一个版本里，她几乎是在受着折磨，牙齿伴着尖叫声被血淋淋地拔出。这些令人不安的小猪佩奇视频流传甚广，其中充满了极端暴力与恐惧的倾向，佩奇会吃掉猪爸爸，或者喝下漂白水。其中很多显然是拙劣的仿制品，甚至自身带着讽刺性：此前关于它们出现了一些争议，结果，它们居然获得了版权声明的保护。它们不是为了吓唬小朋友而制作的——真的不是——即使客观上有这效果。但它们却引发了一连串自发的后果，同时自身也是其中的一环。

第九章并发

226

247

如果只是简单地把YouTube上的怪象与恐怖归结为恶搞与黑色幽默者的行为，恐怕并未真正切中要害。在上面提到的视频中，佩奇忍受了可怕的看牙经历，接着就变形为钢铁侠、猪、机器人的混杂体，并跳起了颜色学习之舞。完全弄不清其中是什么力量在起作用:视频以模仿恶搞佩奇开始，接着又同步到我们之前见过的那种自动生成的重复套路中去了。这不仅是恶搞，也不仅是自动化作品，不仅是真人演员以算法逻辑演出，或者算法在无意识地对推荐引擎作出反应。这是欲望与奖赏、技术与观众、套路与伪装之间庞大而几乎完全隐蔽的阵列。

其他例子似乎不那么像是巧合，而更像是有意为之。完整的视频制作流程包括自动剪辑出电子游戏中的镜头，并用超级英雄或卡通人物代替原来的士兵和匪徒。蜘蛛侠打断了死神（Grim

新黑暗时代|科技与未来的终结

227

248

Reaper)和《冰雪奇缘》中艾莎公主的腿，把他们丢进坑里一直埋到脖子。天线宝宝（对，又是它们）重现了《侠盗猎车手》（GrandTheft Auto）中摩托车追逐和银行抢劫的镜头。身上穿刺有冰激凌和棒棒糖的恐龙在毁坏城市街道。护士伴着手指家庭歌的音乐吃下粪便。一切都是无厘头，一切都在错位。熟悉的角色、幼稚的套路、关键词杂烩、完全自动化、暴力以及孩子们最恐怖的恶梦中的所有元素，在一个接一个又一个内容完全雷同的频道中互相混合，以每周数百个的速度炮制着大量新视频。价格低廉的技术与更低廉的传播方式，促成了这类梦魇般产物的工业化生产。

制作这些视频需要用到什么？谁在制作它们？我们上哪儿知道这些呢？其中没有人类演员，并不等于没有人参与其中。如今制作动画非常容易，而以儿童为受众的在线内容是从3D动画中赚钱的最简单的方法，因为其审美标准较低，而且独立生产就能上规模获利。它使用的是现成的内容（比如人物模型和动作捕捉库之类），并可以被反复使用修改，这种使用大多并无意义，因为算法根本分辨不出意义—孩子也一样。廉价的动画可能是出自只有六七个干不了其他工作的人的小作坊；可能是出自大仓库中的劳工，在生产视频的血汗工厂；也可能是出自某个异常低能的AI（人工智能），一个被随意丢在箱子里的实验性程序，在不断的运行中累积起数百万点击量。是否有某个主权势力或者一群恋童癖故意要毒害一代人—正如一些网上评论者所相信的—我们无从知晓，也可能就只是机器想要这么做。在网上提问就等于把自己推进了另一个阴谋与创伤的兔子洞。网络肯定不会自我诊断，就像系统无法避免让自己的需求走向极端。

第九章并发

228

249

孩子们看着这些视频中自己最爱的卡通人物在杀戮性侵的场景中演出，心灵正在受到创伤。14也已有家长报告，他们的孩子看过这些恐怖视频后行为发生了改变。这些网络效应已经引起了真实且可能持续的伤害。将年幼的孩子（有些还特别年幼）暴露在暴力与不安的情境下是一种虐待，但如果就只是以“就没有人想想这些孩子吗”的绝望控诉来应对这个问题，那就完全错了。显然这些内容并不恰当，显然背后有坏人存在，显然有些视频应该被删除。显然，这会带来关于适当性、盗用、言论自由等等问题。但从这个角度解读下去，就无法完全掌握其中运用的机制，从而无法在整体上思考其后果，并据此进行应对。

许多此类怪异视频的特点就是其展示出的恐怖与暴力程度，有时候是小孩的低俗表现，有时候是恶意的挑衅，而大部分时候则比这些更深入、更无意识。互联网能够放大并满足我们的许多潜在欲望——事实上，这似乎是它最擅长的事。也可以辩护说这种趋势有其正面意义：网络技术的蓬勃发展让许多人能够以从未有过的方式实现与展现自我，提升个人能力，解放不同个性与性向，而这从未像今天这样由如此不同的各类声音、被如此活跃地谈论。但如今，在这个有数百万儿童与成人经年累月流连忘返的地方——通过自己的举动，他们也向掠夺成性的算法暴露了自己最经不起诱惑的欲望——这种趋势似乎不可阻挡地变得暴力而充满破坏性。

与暴力相伴的，还有对儿童难以言喻的剥削—不是因为他们是儿童，而是因为他们毫无力量。像YouTube算法这样的自动回馈系统必须依赖剥削来维持其收入，并将贪婪的自由市场资本主义中最恶劣的一面编入了程序。如果不捣毁整个系统，就不可能施以任何控制。剥削已经被写入了我们正在建设的这个系统因而更难以发现，更难被思考与解释，更难去对抗与防范。更让人不安的是，这不是科幻作品里的未来剥削图景—由AI进行独裁统治、工厂里全是机器人在工作—而是发生在游戏室里、客厅中，在家里乃至口袋里，由同一套运算机制驱动的现实。而处于两端的人们都在受到伤害：一面是麻木而惊恐的观看者；一面是低薪甚至无薪、被剥削或虐待的制作者。而居中的大多是自动化公司，同时从两端获利。

新黑暗时代科技与未来的终结

229

250

无论在哪里制作，无论怎样生产，无论其本身意图是什么，这些视频就是由一个有意给儿童观看视频并以此牟利的系统所培植的。无意识之下产生并滋长的后果已比比皆是。

让儿童观看这些内容就属于虐待。这不同于电影或电子游戏暴力对青少年的具有争议但无疑存在的影响，也不同于色情或极端画面对幼小心灵的影响—这些都是很重要的议题，但并不是这里所讨论的内容。YouTube上处于危险之中的是非常幼小的孩子，从刚出生开始，他们被那些会令他们受到创伤、感到不安的内容锁定为目标，媒介就是极端容易发生这类虐待的网络。这与意图无关，而是关于数字系统与资本冲动的结合体所具有的暴力内核。

这种系统共同参与了对儿童的虐待，而YouTube与谷歌又合谋打造了这种系统。他们所建造的这个从在线视频中压榨出最大利益的架构被匿名者劫持，用来虐待儿童—或许甚至不是有意的，但确实是在大规模进行着。这些平台的拥有者绝对有责任来处理这种现象，正如他们也有责任来处理(多数是)年轻(多数是)男孩由于极端主义视频——无论是什么政治派别——而激进化的问题。至今为止，他们还完全没有显露出一点要这么做的意思，这十分可鄙——遗憾的是这也并不意外。但他们如何能在不自行关闭这些服务以及大量类似系统的同时来进行应对，这个问题并不容易回答。

第九章 并发

230

251

这是个极其黑暗的时代，我们建设用于拓展交流与言论的体系却被用来以一种系统化、自动化的方式为害我们自己——我们所有人。当网络制造出如此可怕的东西，就很难让我们继续对其抱有信心。虽然我们会不由自主地将YouTube上其他更为野蛮的例子统统理解成恶意——事实上其中一大部分也确实是——但对大量偏重走荒诞路线的内容来说就显得不负责任。这体现出许多繁复的危险因素，比如这类事件可能被用作加强网络管控、推行审查制度、监控、瓦解言论自由等措施的正当性依据。在这点上，YouTube上的儿童危机也反映了更广泛层面上的认知危机，这场危机是由自动化系统、不成熟的人工智能、社会与科学网络以及更广泛的文化概念共同造成的、同时它还自带了现成的替罪羊以及一套更为模糊纠结的底层结构。

在2016年美国大选的最后几周，国际媒体将目光聚焦到了马其顿共和国的小城韦莱斯(Veles）。韦莱斯距首都斯科普里(Skopje)只有不到一小时车程，这个前工业中心只有44000人，却引起了最高层的注意。在竞选最后几天中，就连奥巴马总统都在紧盯着这个地方。它已经成为新媒体生态系统的代表，对于这个系统，他说道：“一切都是真实的，又没有一样是真实的。”15

231

新黑暗时代科技与未来的终结

252