但人工智能中的不平等和不公正问题，除了在司法系统、警务和社会福利管理等国家机构之外，也会出现在数据科学的应用之中。例如，一家银行需要决定是否发放贷款：它可以通过算法来自动作出决定，算法会根据申请者的财务和就业历史以及邮政编码等信息和以往申请者的统计信息来计算金融风险。如果拥有特定的邮政编码与不偿还贷款之间存在统计相关性，那么居住在该地区的人可能不是根据对其个人风险的评估，而是根据算法发现的模式而被拒绝贷款。如果个人风险很低，这似乎是不公平的。此外，该算法可能会重现银行经理之前作出决定时的无意识偏见，例如对有色人种的偏见。针对自动信用评分的情况，本杰明（2019b，182）警告说，“评分社会’（the scored society）中，以某种方式被评分是不平等设计的一部分”；分数较低的人会受到惩罚。或者，举一个性别领域的（非标准）例子，根据性别与事故之间的相关性，算法决定年轻男性驾驶员的车祸风险更高，那么是否每个年轻男性驾驶员都必须支付更多的汽车保险，仅仅因为他是男性，即使特定个人的风险可能很低？有时，数据集也是不完整的。例如，一个人工智能程序是在缺乏足够多的女性数据的数据集上进行训练的，尤其是有色人种女性、残疾女性和工薪阶层女性。正如克里亚多·佩雷斯（2019）所言，这是一个令人震惊的偏见和性别不平等的案例。
第三章 平等与公正：人工智能的偏见与歧视
049