间接后果
我们都知道，间接后果是刑事司法系统中的一个常见问题。一旦某人被判定有罪(或者他认罪)，这一污点就会使他失去很多机会就业、住房补贴、公共援助等，即使他早已受到了应有的惩罚。类似的情况在金融领域越发显著。在少量发行“优等信贷”和“次级债”时，自动化系统可能会用默认的算法对种族群体进行重新分类，如果深究的话，这些分类方式都具有明显的非法性。
“数据驱动”的借贷行为已经损害了少数族裔的利益。一位律师在邻域经济发展倡导项目（即现在的新经济项目）中将次级贷款称为系统化地剥夺了少数族裔的“抵押资产权”，即使他们是长期的房屋业主。源于隐性偏见等因素的种族主义十分微妙并且长期存在，甚至可能会影响过去订立的信贷条款。少数族裔以15%的利率维持借贷比其他人以5%的利率维持借贷还要难，并且他们的逾期付款信息更有可能被记录到当前的信息评分模型当中，这些信息会以中立、客观、非种族歧视的形式呈现出来，成为可靠性和可信性的评判因素。这种情境下的信用评分不但没有使品格判断取代肤色判断，反而掩盖了一直存在的种族歧视问题，并且规避了审查。
人们对于黑箱评分的持续焦虑表明，自然科学方法常常被错误地应用到社会领域。土木工程师们可能会使用来自1000座桥梁的数据来评估接下来会有哪座桥倒塌；如今，数量分析专家们通过成百上千万笔交易来预测哪些用户可能违约。但不同的是土木工程师的研究不会对桥梁构成影响，而信用评分系统一旦将某人定为高风险用户并随即提高贷款利率，那么就会增加这个客户的违约概率。另外，秘密评分的“科学”并没有采用科学的方法来提供核心保障：公开可测的公平化程序和监督。只要分析过程处于保密状态，社会歧视问题便会依然存在并且难以解决。
第二章
数据失控时代的网络信誉
059