然后当自动程序启动运行之后，由工人进行持续不断的监督。如果数据没有经过预先处理，这些数据则会以违背程序员意愿的方式训练算法。举例而言，聊天机器人通过有限的、带注释的数据进行训练，以识别特定的单词和语法，但如果让聊天机器人接触无限制的数据，它们则会表现得非常不稳定。为了识别特定的单词，算法会反复接触音频或文本，有时候会重复上千次。对于商业中使用的机器人，这些数据由Appen等微工作网站上的工人提供，他们给机器人提供特定的文本，或自已读出并录下特定的单词或句子。[1]但是当聊天机器人接触大量原始数据时，则会像算法经常做的那样，被一些极端内容所吸引。微软的Tay是一个“休闲”对话机器人，可以自由地从推特内容中学习。24小时后，Tay在推特上发布了一条令人毛骨悚然的评论让人想起唐纳德·特朗普的评论:“@godblessameriga我们要建造一面墙，墨西哥要为此买单。”〔2]如果没有Appen或Mechanical Turk上的大量工人首先对数据进行处理，而让算法在无人监督的情况下进行训练，算法会做出令人意想不到的事情，比如重复法西斯式的法令。
即使在数据被整理和注释之后，算法依然依赖各种人工输入来帮助训练、校准和纠正它们的操作。例如，推特经常利用MechanicalTurk网站上的工人来快速识别热门话题查询，分析其内容，并将其反馈到实时搜索中。米特罗姆尼（MittRomney）在2012年总统竞选辩论期间发表评论后，“大鸟”成为热门搜索，MechanicalTurk上的工人们被要求快速确定哪些用户实际上在搜索与芝麻街相关的推文。[1]此类事件依靠人力快速做出决策，以避免算法犯下代价高昂的错误——这些错误会影响推特提取有用数据和预测用户偏好的能力，然后将工人做出的决策用来对算法进行训练，以便下次算法完成任务的机会更大。
[1] See Creating Chatbots and Virtual Assistants that Really Work', Appen, 10 September 2019.
[2] James Vincent, "Twitter Taught Microsoft's AI Chatbot to Be a Racist Asshole in Less Than a Day', The Verge, 24 March 2016.
43