人工智能时代：破解人机共存密码（套装共10册）

打住，就是这句。没有“固定假设”意味着没有逻辑基础。该算法只是黑匣子式的数据挖掘模型，寻找历史相关系数，毫不关心模型是否合理。此外，该算法不断改变是因为它毫无依据，所以才会被短暂出现的相关系数摆弄来摆弄去。又是捏造模型—进行测试—改变模型，如此循环。

不过，我们再也没有机会看到这个算法成功与否了。就在该计划推出的前几个小时，脸书宣布不允许上校保险公司获取脸书的数据，其政策为“严禁使用从脸书获取的数据来判断条件资格，包括是否批准或拒绝申请人、收取多少贷款利息”。

对上校保险公司来说，这或许是塞翁失马，焉知非福。

社会信用评分

目前，有些企业与政府合作搜集数据，追踪民众的购买记录、出行记录、行为记录等可表明该人不值得信赖的信息。

被计算机算法评为高分的民众可享有价格折扣，支付很低的保费费率，减免租金。对那些评分低的民众，则不允许其购买某些商品，还必须为能购买的商品支付更多的钱。他们的出行选择和居住方式也很有限，他们还可能会受到警方监视。一家公司的总经理表示，这些评分“确保社会上的坏人无处可去，而好人则能行动自由，毫无障碍”。

这些评分背后的某些数据是合理的，例如，使用还贷记录来预测贷款拖欠情况。然而，有些数据肯定只是短暂的相关系数，例如，根据玩什么视频游戏或看什么电影来预测贷款拖欠情况。

一个人如果有评分低的朋友，自己也会受到消极影响。如果爱丽丝的评分下降，有些朋友就会抛弃她，以防自己的评分降低，这对爱丽丝的评分更是火上浇油。这种做法会造成社会分裂，因为评分高的人获得奖励的方式，是将评分低的人踢出自己的社交网络。

虽然脸书阻止上校保险公司利用其数据来为保险费率定价，但也说明不了脸书没有私心。脸书拥有基于你和你的脸书好友来评估贷款申请的专利算法。我写到这里的时候，脸书还未启用它的算法，但别以为它没有动过这个念头，也别以为它没有其他利用数据牟利的方法。

黑匣子式歧视

采用微目标锁定方法的招聘广告，就是有意青睐特定群体（也就不可避免排除其他群体）的明显例子。然而，如果微目标锁定利用了黑匣子式的算法来发现统计学模式，暗中造成了年龄、性别或种族歧视，这种不公平现象就很难被察觉。

没有人，就连编码的程序员也无法确切知道，黑匣子式的算法是如何做出预测的，但几乎能肯定的是，就业、贷款和保险算法都直接或间接考虑到性别、种族、民族和性取向等因素。如果黑匣子式算法会选择某些性格特征作为不良行为的预测指标，而某些人就因为具备这些性格特征遭到惩罚，是不合乎道德伦理的。

思考一下，算法通过浏览申请人访问的网站来评估职位申请者——不是好的或不好的网站，仅仅是与现有雇员有所关联的网站。虽然某个日本漫画网站很受男性软件工程师欢迎，但这对一名不会花时间浏览该漫画网站的西班牙女性来说，有多公平？

再思考一下，算法通过接听来电的频率来评估贷款申请。这对经常接到电话销售员来电的男性犹太教徒来说，有多公平？

继续思考一下，算法基于脸书的用词选择，以及某人是否喜欢迈克尔·乔丹或莱昂纳德·科恩，来设定汽车保险费率。这对喜欢迈克尔·乔丹的黑人男性和喜欢莱昂纳德·科恩的白人女性来说，有多公平？如果性别、种族、民族或性取向碰巧与汽车保险索赔存在偶然性关系，又有多公平？

不合理的搜查

一直有人争论道，挖掘“看似无关的数据”能够“发现、推断和侦查出犯罪活动”。我的天啊！竟然利用无关的数据来打击犯罪活动。

例如，或许我们可以利用数据挖掘算法，而不是法院来批准搜查令吗？我们似乎已朝这个方向前进，不过这次探索之旅肯定不尽如人意。

搜查令通常都有范围限制，也肯定是基于特定的、个别化的、没有明显无辜解释的事实的。如果缉毒犬嗅到了行李包有特殊味道，听到从汽车后备厢里传来声音或在地下室发现制毒设备，就是没有明显的无辜解释。但是，如果一家人锁上前门（为了防盗）或前往哥伦比亚（为了探亲或度假），就是有明显的无辜解释。

举个更复杂的例子。在伊利诺伊州，警方获取搜查令搜查一家酒馆，理由是该酒馆老板贩卖海洛因。警方进入酒馆对顾客进行搜查，发现文图拉·伊巴拉将海洛因藏在烟盒里。最高法院判决对伊巴拉先生的搜查属非法行为，因为这是基于“株连罪”的搜查，而不是基于任何特定的可能原因。警方并不认识伊巴拉，他当时只在玩弹球游戏，没有逃跑意图、藏匿物品等可疑行为。他出现在该酒馆具有明显的无辜解释——进来喝一杯，玩玩弹球。

法院声明，“可能的原因（必须是）具体针对（某一个）人的”，而“指出碰巧会存在可能原因便搜查（其他人），或搜查该人可能恰好出现的场所”，是绝不能达到上述标准的。

这有可能是使用数据挖掘算法来颁发搜查令所难以解决的问题。计算机非常不擅长于为特定的，确切来说是为独特的情况推测无辜解释。还记得第3章那个“猫与花瓶”的例子吗？计算机没有人类的生活经历，无法猜测出符合语境的合理解释。人类看过风吹倒物体、见过孩子打翻东西后跑出房子、体验过地震的感觉，所以能联想到这些可能性。计算机软件却完全做不到。颁发搜查令也一样，人工智能算法无法猜测，更别说评估无辜解释。

第二个问题是，搜查令应该具有合理基础。废弃建筑物是违法毒品的制作场所，这说得过去。但要说教堂或老年人中心是违法毒品的制作场所，就没那么合理了。但数据挖掘算法并不能区分两者的差异。

数据挖掘算法的另一个问题是，它们可能会用种族、宗教或政治团体的替代指标，而这些都不应该出现在申请搜查令的考虑范围内。例如，搜遍大数据的算法可能会发现，住在固定地区、购买固定产品、穿着固定衣服或访问固定网站都是表明犯罪活动的指标，但也是种族、宗教和其他受保护阶层的替代指标。

法院要求特定的、个人化的犯罪活动证据，其中一个原因是，含混不清会滋生政府权力滥用。首先，民众应该知道哪些特定活动是违法的，或能作为侵犯他们隐私的理由。其次，政府应该限制个人隐私可以被随意侵犯的自由。

假设数据挖掘算法颁发搜查令或逮捕令的依据是合法活动，但该活动在统计学上与非法活动相关联。大多数被选择的模型都可能是暂时的随机噪声。要记住，搜寻的数据集越大，就越可能发现无意义的偶然性模型。

如果算法发现吸食违法毒品和在开市客超市购买狗粮、看《宋飞正传》、每三年买一辆新车之间有相关系数，会怎么样？这些可能完全是偶然存在的统计学关系，就像总统大选结果与5个城镇的气温存在相关系数一样。即使并非完全偶然，难道民众不应该被事先警告可能会被逮捕，或在收看《宋飞正传》时，被提前通知自己的房子要被搜查吗？

对于第二个问题，即警察的随意决定导致有选择性的法律执行。想象数据挖掘算法识别了1万个具备与所知罪犯的性格特征相似的居民。如果警方没有权力彻查这1万个居民，他们可能会从中选出自认为有特大嫌疑的几十个居民。但是，这就有损了要基于证据，而不是基于突发奇想的搜查原则。

看看你的手环

理查德·伯克在宾夕法尼亚大学的犯罪学系和统计学系均担任职务。他的专业特长之一是算法犯罪学，即“使用统计学或机器学习程序来预测犯罪行为和受害情况”。算法犯罪学越来越常见于审前保释、审后判决和定罪后假释判决中。

伯克写道：“这个方法就像个‘黑匣子’，错误率很低。”在《大西洋月刊》的一篇文章中，伯克更是直言：“如果能用太阳黑子、鞋码或手环大小的数据，我肯定会用。如果我给算法输入足够多的预测指标，它就会得到出乎你意料之外的结果。”

大多数“出乎你意料之外的结果”都毫无意义，如太阳黑子、鞋码或手环大小。它们反映出短暂的、偶然性的模型，这都是无用的犯罪行为的预测指标。有一项研究调查了较为广泛使用的危险评估算法之一，结果发现，被预测两年内施行暴力犯罪的人当中，实际上只有20%的人确有此举。此外，这个预测结果还歧视黑人。

伯克的初衷无疑是好的，但他认为太阳黑子、鞋码或手环大小可以用来决定一个人应该被假释还是继续监禁的想法，实在令人不安。若过度信赖计算机，就会出现这种情况。

更糟糕的是，出售犯罪学算法的公司通常不会透露它们所考虑的因素，以及哪些是它们的算法认为重要的因素，还声称这是有价值的专利信息。这个秘密让被告人不可能为自己被判监禁的结果辩护，因为这个结果的依据是数据中偶然出现的模型。

在一件案子中，威斯康星州的警方识别出一辆汽车涉嫌一起驾车枪击案，于是追赶该车辆。车停下来后，司机埃里克·卢米斯被逮捕，不久后认罪，承认自己逃避警察追捕，对“未经车主同意，擅自驾驶他人车辆”的指控也不予回应。法官部分考虑了计算机算法的预测结果，即如果卢米斯不被监禁，就有可能会犯下更多罪行，因此判处他六年有期徒刑。卢米斯上诉到威斯康星州最高法院和美国最高法院，均被驳回。

威斯康星州最高法院赞赏这种基于证据的判决——根据数据，而不是人的主观意见。人的意见肯定不完美，但黑匣子式的数据挖掘算法也是如此。法院表示，“尽管卢米斯不能质疑算法如何计算危险，但他至少能审查和质疑他最后得到的危险评分”。很难能见到他真的做到这一点，除非他创建自己的算法。

威斯康星州司法部长表示，法院应该持观望态度，“法院使用危险评估来进行判决还是新举措，需要时间做进一步观察渗透”。同时，卢米斯“有质疑评估和说明其可能存在的错误的自由”。实际上，他怎么能挑战得了一个黑匣子式的模型呢？

人气算法的创建者确实透露了少部分自己输入的数据，但并不能抚慰人心。在他们考虑的因素当中，有被告对下述问题的回答，如：“你有多少朋友或熟人服用违法毒品？”“如果有人惹怒你，你是否会做出危险举动？”说真的，谁会回答“很多”或“当然会”？

危险评估算法当然会忽略那些任何理智的犯罪分子都不会如实回答的问题。它们肯定会基于更多微妙数据（如手环大小和鞋码），而这看上去肯定公平。被告应该知道那些数据，而不是在算法渗透的过程中，把牢底坐穿。

你需要整容吗？

如果假释判决是基于预测惯犯行为的统计学模型，那么离使用这种模型来决定谁应该被捕和被送进监狱也只是一步之遥了。果然，在2016年，有两名中国研究人员报告称，他们能运用自己的人工智能算法扫描脸部照片，预测某人是否是罪犯，准确率高达89.5%。

我的第一反应是（可能你也一样），这就是个恶作剧，就像第6章那个死三文鱼的研究一样。可能是两个喜欢恶作剧的人，通过这样戏剧性的实验表明，数据挖掘能用来杜撰出不切实际的说法。使用几十万像素肯定能得到某些相关系数密切的结果。该模型通过扫描人脸和使用数据挖掘软件找出的统计学关系，也只能创建关于某人的智商、电影喜好或癌症易感性的虚假预测指标。

我读过那篇文章，惊讶地发现他们完全是认真的。他们侃侃而谈道：

和人类审查员或法官不一样，计算机视觉算法或分类器完全不会受过往经历、种族、宗教、政治信条、性别、年龄等的影响，它没有主观看法、情感和偏好，没有精神疲倦，也没有睡眠不足或进食不佳的情况。

这两位研究人员扫描了1 856名男性的身份证证件照，其中730名为罪犯，另外1 126名是普通人。他们的人工智能程序发现，“一些有辨别力的结构化特征能预测犯罪分子，如唇曲率、眼内角距和所谓的口鼻角度”。

《麻省理工科技评论》持乐观态度，称：“这一切都预示着，‘人体测量学、犯罪学等方面’即将开启新纪元，随着机器的能力越来越大，还有很多研究空间可供发展。”一名受人敬重的数据科学家写道：“该研究的实施过程严谨，结果是什么就是什么。”这口吻就仿佛是真正的数据挖掘者。谁还需要理论呢？如果人工智能程序找到统计学模式，这个证据就足够了。结果是什么就是什么。

值得大赞一番的是，人工智能研究人员全都认为，若当真有可能导致危险后果，就要摒弃这种具有危害性的伪科学，它既不可靠，又容易让人产生误解。

那两名研究人员发表的文章中包括三名罪犯和三名普通人的脸部照片，它们无疑都是经过选择的，这样读者就会认同罪犯和普通人看上去确实不同。罪犯都不笑，没有身穿职业服装，皮肤也更加粗糙。除了唇曲率、眼内角距和所谓的口鼻角度（不管这些是什么意思），人工智能程序和我们注意到的一样吗？它除了检测笑容，还能做什么吗？

我还是怀疑这项研究可能就是场恶作剧，但如果并非恶作剧，那么人工智能罪犯人脸算法的目的是什么？我们应该逮捕那些一脸罪犯相的人，好让他们不能犯罪吗？

我记得2002年上映的电影《少数派报告》中，三名超能力者可以在罪犯犯罪之前就侦查出其犯罪企图，使得犯罪预防组织的警察可提前将其逮捕。当然，逻辑问题在于，如果企图犯罪的人在杀人前被捕，就不会出现谋杀事件。因此，超能力者又怎么能够预先侦查到没有发生过的谋杀呢？

识别“罪犯脸”的人工智能算法并没有这种时间矛盾问题，因为它不能预测特定的罪犯。它只能用识别程序算出有89.5%的可能性是罪犯的人。这些罪犯可能过去已经犯了法。

但还是要问，人工智能程序会用来逮捕和监禁那些逍遥法外的人和那些只是企图犯罪的“前”罪犯吗？

一名博主对这项研究做了如下评论：

如果人工智能程序只是将那些看上去像罪犯的人送进拘留所，能怎么样？这会造成什么伤害吗？那些人不过是在里面待上一段时间，等“康复期”结束就好了。即便部分无辜的人也被关了进去，从长远来看，这会对他们造成什么不利影响吗？

我希望这名博主是在冷嘲热讽，但恐怕他就是这么想的。如果这样盲目信任计算机成为惯例，政府或许也会开始根据人工智能的人脸分析，来关押民众了。

如果你的唇曲率、眼内角距和所谓的口鼻角度也符合罪犯特征，那怎么办？不管是不是罪犯，你将来可能都要整容。

摆弄系统

数据挖掘算法有两个根本问题。一方面，如果算法是专利机密，我们则无法检查算法所使用数据的准确度。如果黑匣子式算法被告知你有贷款未偿清，而真正欠款的是跟你同名的另一个人，但你不会知道这是个误会或其实是可以改正的。另一方面，如果算法是公开的，大家就能摆弄系统，就会有损模型的有效性。如果算法发现，未付清贷款的人都常常使用某个词，那么大家都会不再使用这个词，这样的话，无论不还贷的概率是多少，申请都能获得批准。

想要低汽车保险费率的人，可以在脸书上列清单；想要获取假释机会的囚犯，可以改变自己手环的大小；不想被逮捕的罪犯，可以整容。人们一旦了解系统，就能摆弄它，这样也会有损系统。这种摆弄现象太常见了，以至于还有个名字——古德哈特定律，取自英国经济学家查尔斯·古德哈特。该定律的内容是：当一项政策成为目标，它就不再是好政策。古德哈特是英格兰银行的经济顾问，他的观点是“设定货币目标会引起人们以损害目标有效性的方式，改变自己的行为”。现在，我们都知道这个定律也被应用于很多其他情况。

苏联的中央规划局下令要求制钉厂生产一定数量的钉子，企业为了降低成本，会尽量生产最小的钉子——也是用处最小的钉子。因此，制定目标会损害目标的有效性。

现在，全美国的学校都以标准考核来管理，该考核用于评估学生、教师和学校。教得好的老师会获得奖金，教得不好的就会被辞退。办得好的学校会吸引学生，获得更多资金来源，办不好的就会被国家接管。因此，老师和学校的回应也在意料之中：实行应试教育，（极端情况下）直接给学生正确答案或篡改答案卡。因此，制定目标会损害目标的有效性。

大学院校也会以不同的方式摆弄系统。我任教的波莫纳学院入选了《美国新闻与世界报道》发布的全球最佳大学排行榜后，申请人数大幅增加，因为《美国新闻与世界报道》为其做了免费宣传。全美国甚至全世界的学生都申请波莫纳学院，因为他们看到它在《美国新闻与世界报道》的排名榜上非常靠前。申请人数的增加，反过来又让波莫纳学院的筛选越来越严格（现在的录取率不足7%），这又进一步提高了该校在《美国新闻与世界报道》的排行榜上的排名。富者愈富。