上述言论有些危言耸听。很难想象会有成千上万的游手好闲者通过操纵评分算法来制造大混乱，而那些真正想与系统进行周旋的人是不会被保密门槛拦在外面的，比如他们可以通过雇用相关公司与顾问来对神秘的入职测试进行摸底。此外，有人可能会在不经意间披露了关键的决策信息，这种情况几乎无法避免。如果对这些信息进行研究(或逆向还原)，便能够取得不正当的优势。数据科学家凯茜·奥尼尔(CathyO'Neil)称，很容易“被操控的分类工具”在建模过程中非常脆弱。建模者应该寻找一些不容易被操控的预测信号。
评分公司不想让竞争对手知道它们拥有什么样的数据以及如何使用这些数据。然而，在大数据驱动的行业当中，商业成功运作的真正基础似乎取决于相关数据的收集总量—不需要将所持数据和所用算法进行逐一披露和共享。此外，即使绝对保密是一种精明的商业战略，公共政策也不应当鼓励这种做法。几乎没有证据表明不能保密就会有碍创新。与泛滥的自动秘密评分系统对人类尊严产生的威胁相比，这些担心都无足轻重。当这些预测性评分损害人们获得信贷、工作、住房和其他重要利益时，人们至少应当能够获得通知并有权对这些评分提出质疑。
第五章监督者由谁来监督?
213