弗兰克·帕斯奎尔(FrankPasquale，2015)同样关注使用自动化流程对于风险评估与机会分配的影响。他解释了复杂算法如何被用于研发与部署·以维持一个“黑箱社会”。其中，算法数据过程被刻意作为商业机密隐藏起来。以维护强大行业的信息垄断地位。这些行业利益还授权计算机在没有人类干预的情况下制定决策。
另一个关于采用人工智能系统权力关系的著名案例是由新闻网站 Probublica 发布的“机器偏见”研究(Angwin et al.，2016)。其中，调查记者朱莉亚·安格温(Julia Angwin)与一个由记者及数据科学家组成的团队一起对私人公司Northpoint的COMPAS算法进行了研究。该算法被美国司法系统用于针对被告进行风险评佔，并预测罪犯释放之后再次犯罪的可能性。他们发现该算法当中存在一种偏见，它将黑人被告归为再犯者的频率高达白人被告的两倍之多。此外·它将白人被告归类为低风险被告的次数高于黑人被告。
萨菲娅·乌莫加·诺布尔(2018)用“压迫性”一同来形容谷歌算法搜索架构的权力(“压迫算法”)。正如她在研究中所说的那样，当它们在性别化与歧视性搜索结果当中复制偏见(如对非裔美国女孩持有偏见)之时，就强化了社会当中的这种偏见。当它们作为现实的自然客观反映被呈现和接受之时，其本身也是在传递偏见。
在有些社会当中，人类能动者(例如，使用风险评估工具的研发人员或法官)和非人类能动者(工具的数据设计)中的道德能动性产生了伦理影响的。在这个社会之中，审查并揭示算法的潜在歧视能动性至关重要。我们甚至可以利用批判性应用的伦理学方法，以减轻某些工具的机器学习模型数据处理当中的偏见。例如，莱尔与奥姆提出对歧视性机器学习模型的“数据操控”阶段干预方法。比如，通过检查模型促进训练数据中差异转化为预测差异的方式.有意为少数群体生成模糊的预测规则(Lehrand Ohm，2017:704)。然而，只有当我们可以追踪算法的真实数据处理过程之时，才能做到这一点。米特尔施泰特等人(2016)认为，由于算法的数据处理以及人类识别和(或)纠正算法的数据设计能力(如意识和教育)日益复杂、算法的可溯性也变得更差。此外，关于这一点还存在另外的审视角度。鉴于算法作为Northpoint背后私人公司的专有产权受到保护、安格温及其同事(2016)不得不在没有进入COMPAS软件“操控数据”阶段(Lehr and(hm、2017)的情况下、为“机器偏见”研究提供证据。然而，他们对于这一系统的批评因其背后私人公司的商业利益而变得复杂。因此、他们只能通过比较不同的数据集与公共记录请求(Larson et al.,2016)来研究其“运行模式”(Lehr and (Ohm，2017)。这种社会技术工具的不可访问性和“自主性”、由人类以公司利益的方式来强制实施，这本身就是一个伦理缺陷。因此，这不仅仅是技术复杂性与人类教育和能力的问题、也是社会权力关系以法律保护或自由形式运行的结果。因此，缺乏可溯性不能被简化为技术复杂的自主道德能动者与人类个体能力之间的冲突。正如帕斯尔在“道德机器”案例研究中所说明的那样，一般的社会权力关系与利益就是通过附止对运行模式数据设计过程的访间，使得对其审查与干预变得复杂难行。
权力的数据伦理学：大数据与人工智能时代的人本方法新解
106