然而即使我接受了你的处理方式，还是忍不住要指出这里的一个陷阱。看到这则广告的女性中，只有三分之一的人对这份工作感兴趣，而看到这则广告的男性中有一半对此感兴趣。如果再考虑到那些没有看到广告的人，我们可以说这是在歧视男性。在没有看到这则广告的男性中，每11个人中有1个人对这份工作感兴趣，而在没有看到这则广告的女性中，每27人中只有1个人对此感兴趣。我们校准后的新算法变得对女性有利了。
可见不公平的现象就像游乐场里的打地鼠游戏，按下葫芦浮起瓢：你把地鼠从一个地方敲下去，它就会从另一个地方窜出来。你可以自己试着做两个2乘2空表，试一试以一种不带偏见的方式把1000名女性（其中有125名对这份工作感兴趣）和1000名男性（其中有250名对这个工作感兴趣）填入这四个格子里。结果是你做不到。在群体之间进行校准和使男女上班族得到相同的误报率及漏报率这两件事不可兼得，总有一些人会受到歧视。
数学的美妙之处在于我们可以通过它证明普适的结论。这正是康奈尔大学计算机科学家乔恩·克莱因贝格（JonKleinberg）、曼尼什·拉加万(Manish Raghavan)与哈佛大学经济学家森德希尔·穆莱纳坦(SendhilMullainathan）一起用很多类似表6.2和表 6.3的2乘2频率分布表所做的事情。在我的例子中，我用了具体的数字组合，但是乔恩、曼尼什和森德希尔都证明了，一般而言，我们不可能在消除两组的校准偏差的同时得到相同的误报率和漏报率。这个结果与我们输入表中的数字无关，除了一个明显的例外各组的基本特征完全相同。因此，只有当佛罗里达州布劳沃德县的黑人和白人被告的再犯罪率相同或学习计算机编程的女性和男性一样多时，我们才有希望做出完全没有偏见的算法。当我们生活在一个方方面面都不公平的世界中时，我们就不能指望我们的算法完全公平。
第一部分 算在监视我数据做了什么？
59