ML过程的两层包括,一端是“清理和格式化大量数据以输入模型”,另一端是“仔细部署和监控模型”。正如Dong所观察到的:“从数据处理到培训,再到部署到生产基础设施,机器学习开发过程中任何阶段的任何不兼容性都可能导致错误”(2017)。在实践中,ML软件工程师通常花费更多的时间来处理“准备和监控”,而不是实际的模型制作。在本章的后面,我们将讨论这些数据集的来源,从不知情的手机用户到密切监控的配送中心工人,以及无人驾驶车辆中失眠的“安全驾驶员”。但无论数据是如何收集的,它几乎总是必须经过清理才能用于AI训练:标准化其格式,消除错误,检测异常值,提供额外信息,添加处理中使用的特征,最重要的是标记ML将学会识别的对象。在数据科学家中,诸如“80%的工作是清理数据,另外20%的工作是抱怨数据是如何被清理的”这样的笑话比比皆是(Lohr 2014)。
这种“数据修改”或“数据争论”(Johnston2015)中的大部分都是外包的,通常是离岸微工作,在委内瑞拉、印度和印度尼西亚等低工资地区,每小时的费用从几美元到几美分不等(Nakashima 2018a)。起初,这是通过众包平台(如Freelancer,Mechanical Turk或Upwork)来处理的。后来,数据清洗成了一项专门的业务。Mighty AI和Figure Eight(前身为CrowdFlower)等初创公司开发的软件“可以更容易地标记照片和其他数据,甚至在智能手机上”(Nakashima 2018a)。班加罗尔的Playment公司将这类任务“游戏化”,并将其3万名随叫随到的员工称为“玩家”。在中国,专门从事“精细数据处理”的公司采用泰勒式的劳动分工。一些“项目组”负责标记“人体上的节点以复杂的瑜伽式姿势”,或者为自动驾驶汽车软件标注“摩托车、自行车和行人”,显示他们的行驶方向;另一些“扫描建筑物或模糊物体的轮廓,用于训练雷达探测现实世界的物体”(Yu2017)。这项工作要求很高,也很累。
机器学习“三明治”的另一层,部署和监控,也需要全球的点击工作。ML算法可能不会像预期的那样工作,或者遇到需要干预的问题。2017年,一家提供自动扫描的公司Expensify强调了所谓的自动化系统对人工支持的依赖程度
automating the social factory .
77