PDF 物理页索引 800
文件中的第 801 页 · 印刷页码:未识别
统计软件能找出此类相关系数,但是无法解释是第一个要素引起第二个要素,还是相反情况,又或是第三个要素引起前两个要素。对计算机来说,数字就是数字而已,可以求平均数、互相关联和操纵。人类智能则让我们能够思考数字背后的现实,考虑合理的解释。
关系非常紧张的家庭可能会选择(在不同房间)看电视来避免交流。参加驾驶课程的人说不定原来的驾驶水平就很差,所以才要培训。学习拉丁语的人或许更有能力,也可能对口语能力测试中出现的材料更感兴趣。
反向因果关系(reverse causation)通常与自我选择偏差存在联系。人们选择看电视、上驾驶培训课或学拉丁语,会造成“活动为因,对人的影响为果”的错觉,而这些情况下,有可能为反向因果关系,即“人为因,选择活动为果”。
2012年,美国胡子研究所(American Mustache Institute)在华盛顿组织了一次“百万胡子游行”活动来支持“Stache法案”[Stimulus to allow critical hair expenses(意为用胡子保养费来刺激经济发展)的首字母缩略词],该法案提出每年为留胡子的美国人减免250美元的税款,作为对其保养胡子的补贴。该研究所指出,留胡子的人的年收入比剃净胡子的人的年收入高4.3%,这说明鼓励留胡子的税收政策会促进经济发展。该所研究人员甚至找到一名税收政策教授来支持“Stache法案”:
鉴于保养胡子和收入之间明显存在关联,根据美国的《国内税收法》第212条,胡子的保养费用显然符合条件,也应该认定为与收入生产相关的可减免费用。
即便4.3%这一数据没错(怎么就不能是编出来的?),也明显存在自我选择偏差和反向因果关系。是留胡子会提高收入,还是高收入人群更有可能留胡子呢?
PDF 物理页索引 801
文件中的第 802 页 · 印刷页码:未识别
几百年来,新赫布里底群岛的岛民都相信,体虱有助于保持身体健康。这一民间智慧基于身体健康的人通常有体虱,而患病之人却没有这样的观察结果。然而患病之人不携带体虱是因为病人经常发烧,会驱走体虱。
人类可以辨别相关系数和因果关系的差异,计算机却不能。如果我将这些例子中数据的识别名称以X和Y代替,你可能会分不清它们之间的因果关系。这就是计算机所看到的“类数据”,所以,计算机又怎能识别出因果关系呢?它做不到。
这便是人类智能和计算机智能之间的根本差别,也是人工智能为什么一点都不智能的原因之一。只有理解所要表达的意思,才能称其为智能。
时间的力量
“比萨原则”(Pizza Principle)指的是,20世纪60年代以来,纽约的一张地铁票大致等于一块比萨的费用。计算机可能认为,比萨的价格取决于地铁票价,或反之亦然。人类则认为两者的花费与总体物价同步上涨。
很多不相关的事物都会随着时间流逝而同步增加,因为人口、收入和物价都会随着时间流逝而同步上涨。这一简单事实是很多假性相关(spurious correlation)的基础。已婚人数和啤酒消费量都随时间流逝而增加。这能说明结婚导致嗜酒,或嗜酒促成婚姻吗?工作日减少的同时,打高尔夫球的人数增加。这就表示大家都翘班去打高尔夫了,或因打高尔夫而受伤在家吗?在欧洲西北部,鹳巢和新生儿的数量都随时间流逝而增加,这可以当成是童话故事中,鹳把婴儿带走的确凿证据吗?
PDF 物理页索引 802
文件中的第 803 页 · 印刷页码:未识别
网站Spuriouscoreelations.com上有很多例子,包括北卡罗来纳州的律师人数与上吊、勒喉和窒息死亡的人数有关,内华达州的律师人数和被自己双脚绊倒而摔死的人数有关。那么,难道减少律师人数就可以降低自杀率和摔死率吗?
事物有时也会随着时间流逝而减少,如结婚率和从渔船掉下来摔死的死亡人数。在一次考试中,我设置了一道图表题:如图4.2所示,1999—2009年美国从挪威进口的原油量,以及因驾车横穿火车轨道导致身亡的司机人数都呈下降趋势。我的问题是:你会如何解释两者的相关系数为0.95?我原以为学生会回答,这是两种随着时间流逝而减少的事物间会存在的一种偶然性相关系数,但两者实则毫无关联。然而,有名学生给出的解释是:天然气价格上涨引起从挪威进口的原油量下降和驾车出行减少。好吧,人类时不时会被假性相关忽悠,但计算机一直都上当受骗。
计算机程序不仅无法识别此处讨论的假性关系,还会主动寻找这种假性关系,而且能找得到。由于缺少解释数字意义的人类智能,计算机无法评估所发现的相关系数是否有意义。
PDF 物理页索引 803
文件中的第 804 页 · 印刷页码:未识别
幸存者偏差
PDF 物理页索引 804
文件中的第 805 页 · 印刷页码:未识别
另一个观测数据的常见问题是,由于我们无法看到不复存在的事物,因此会出现幸存者偏差(survivor bias)。比如,针对老年人的研究,并不包括那些寿命长度不足以步入老年的人;针对入住某些酒店、搭乘某家航空公司的飞机或游历某个国家的人开展的调查,并不包括那些有过一次体验,然后说“下不为例”的人;杰出企业的共同特征并不包括那些也具备这些特征,但没有成为杰出代表的企业。
第二次世界大战期间,轰炸德国后飞回英国的盟军飞机的机身留下了被子弹和弹片击中的弹孔,一项军事分析研究这些弹孔位置后发现,大多数弹孔位于机翼和机尾,很少出现在驾驶舱、引擎和油箱部位(如图4.3所示)。于是,军队决定在飞机的机翼和机尾增加保护钢板。不过,才智过人的统计学家亚伯拉罕·瓦尔德发现了这些数据中存在的幸存者偏差问题。能成功返回英国的飞机,都在子弹或弹片的袭击中幸免于难,其驾驶舱和油箱都没什么弹孔,而这些部位被击中的飞机都已经遇难了。因此,应该加固的不是那些弹孔最多的地方,而是没有弹孔的位置。
PDF 物理页索引 805
文件中的第 806 页 · 印刷页码:未识别
图4.3 飞机中弹部位示意图
还有一个相似的例子。第一次世界大战期间,很多英国士兵的头部都会遭弹片致伤。然而,当把布帽换成钢盔后,因头部受伤入院的士兵人数反而增加了。为什么?因为钢盔的使用增加了因弹片受伤的人数,而不是死亡人数。
面对某些类型的“坏数据”,人类还是能够识别幸存者偏差的,但计算机程序就无能为力了,因为它们不知道这些数字代表什么,无法利用逻辑推理思考这些数据的来源造成的偏差。
假数据
学术研究的圈子中竞争激烈,众多聪明绝顶、竞争力强的科学家坚持不懈地追名逐利,以求自己的职业生涯获得发展。而必要的支持就是,在同行认可的杂志上发表有意思的研究成果。“要么发表,要么发霉”(publish or perish)是大学研究人员的残酷写照。
有时,这种压力过于沉重,以至于研究人员会撒谎或造假来寻求事业高升。研究人员需要靠可以发表的研究结果存活,当结果不尽如人意时会备感沮丧,还会担心其他人抢先发表了类似的研究成果,因此有些人会选择编造数据这条捷径。毕竟,如果推论是正确的,那么编些数据来证明一下也不会有什么大碍吧?
荷兰社会心理学家德里克·斯塔佩尔的研究成果极其丰硕,事业有成,对调查研究的设计非常深入、一丝不苟,常与研究生和同事合作。可奇怪的是,作为一名资深研究人员,他总是独立完成调查工作。还有一点蹊跷之处是,斯塔佩尔常常在听到同事的研究兴趣点后,声称自己已经收集到了对方所需要的数据,他愿意以合作撰稿人的身份提供数据。
PDF 物理页索引 806
文件中的第 807 页 · 印刷页码:未识别
斯塔佩尔发表或与他人合作发表过数百篇论文,于2009年荣获美国 实 验 社 会 心 理 学 会 ( Society of Experimental SocialPsychology)颁发的“事业轨迹奖”(Career Trajectory Award)。2010年,他当选蒂尔堡大学社会与行为科学学院院长。斯塔佩尔很多论文都引起争议,其中有些甚至超过合理性的界限。他在一篇文章中指出,脏乱的房间会使人变成种族主义者;在另一篇文章中声称,吃肉——包括只是想要吃肉——会使人变得自私。(我没有瞎编!)
斯塔佩尔的部分同事和研究生对于支持斯诺佩尔的那些半成品的推论的数据持怀疑态度。但最终,他们想要查看数据的要求都被斯塔佩尔拒绝了。有一次,斯塔佩尔向一名同事展示了一项实验的方法和标准差,该实验显示出,给流泪的卡通人物涂颜色的儿童比给不流泪的卡通人物涂颜色的儿童更愿意分享糖果。当那位同事提出查看数据以比较男孩和女孩的反应时,斯塔佩尔则说,他还未将数据输入电脑!要么是斯塔佩尔手算的实验过程和标准差,要么就是根本没有数据。你说呢?
终于,两名研究生将他们对斯塔佩尔的质疑上报给学院负责人。没过多久斯塔佩尔就坦白了,承认自己的很多实验调查结果要么是经过挑选的,要么是捏造而来的。他解释道:“我太急于求成了。
2011年,斯塔佩尔被蒂尔堡大学辞退。他退掉了自己的博士学位,撤回了58篇数据造假的论文。他还同意完成120个小时的社区服务,用相当于其18个月工资的收入缴纳罚款。对此,荷兰检察官同意不以滥用公共研究经费追究其刑事责任,理由是这笔政府资金主要用于支付研究生的工资,他们都是无辜的。与此同时,我们也松了一口气——在吃肉和房间脏乱时不用那么愧疚了。
真是名副其实的资本主义做法,斯塔佩尔并没有灰溜溜地全身而退,反省自己的过错,反而将此事写成书出版了!
PDF 物理页索引 807
文件中的第 808 页 · 印刷页码:未识别
计算机可能不会捏造数据,但也无法识别虚假数据。把斯塔佩尔拉下神坛的是人类对他说辞的质疑。而计算机无法持有怀疑态度。
识别<sup>“</sup>坏数据<sup>”</sup>
我以前的一位学生(鲍勃)曾在全球最大的咨询公司负责大数据工作,他告诉我,有家客户公司针对营销计划的效力做了统计分析,该分析采用多种渠道,包括直邮、广告横幅、电子邮件等。为了收集到足够多的数据,计算机程序分析了超过20年的历史数据。
问题在于,任何人都知道在过去20年里营销技术已经发生了翻天覆地的变化。比如黄页,这种印刷的电话簿用白纸印刷非商用电话号码,用黄纸印刷分类付费广告(例如宠物用具)。从前,这种做法非常普遍,全美国都很时兴一句话:“动动手指省跑腿!”(Let yourfingers do the walking!)不过实际上,一本黄页太大了,就算撕开一半也还是很重(尽管有个窍门能让它不那么重)。
如今的黄页被鲍勃称为“优惠券和门挡的结合体”。大多数人会收到放在信箱里或自家停车道上的黄页,但从不打开来看。
客户公司的软件程序无法考虑这些,因为它们没有思考能力,只会计算。幸运的是,鲍勃介入此事,表示少量的相关数据比大量的过时数据更有价值。
尽管所有宣传都在鼓吹大数据,但有时小数据的作用反而更加显著。无须通过搜遍堆积如山、随机获取的数字来寻找有意思的发现,采集有助于解答研究问题的好数据更富有成效。
人类能够质疑支持奇特主张的数据,可是计算机却无能为力,因为它们没有分辨合情合理与异想天开的智能。遇到“脏乱的屋子和种族主义”之间、“内华达律师人数和走路绊脚摔死的人数”之间等存在统计学关系的说法时,计算机也不会起疑。
PDF 物理页索引 808
文件中的第 809 页 · 印刷页码:未识别
对软件程序来说,要想解决计算机缺少人类智能这一问题,可能需要报告统计学分析的具体细节,这样的话,人类就能评估数据的有效性和结果的合理性。这是个很好的想法,但实践起来还有两点障碍。
首先,因为大数据过于庞杂,很多软件程序都采用数据规约(data-reduction)技术(详见第8章),将数据改变为无法识别的状态,人类便不能评估计算机结果是否有意义。
其次,有些人认为计算机生成的内容不容置疑。如果计算机显示,嘴角下垂的人有可能是罪犯,那就一定如此。如果计算机显示,不接电话的人信用都不好,那也一定没错。
人类以为自己没有计算机那么聪明,但并非如此。计算机虽然非常擅长某些事情,但无法鉴别数据质量的好坏,人类远比计算机聪明——这也是说明计算机不算太智能的又一例子。
[1] 1英尺≈0.3米。——编者注
PDF 物理页索引 809
文件中的第 810 页 · 印刷页码:未识别
第5章
随机性模式