PDF 物理页索引 840
文件中的第 841 页 · 印刷页码:未识别
但谁还会思考?放手让软件搜遍数据,寻找始料不及的关系就好了。
QuickStop
互联网营销公司QuickStop拥有100多万个域名,以此招揽无意间的网络流量。假设,有人在查找Hardle Soup Company(其网址是www.hardlesoup.com ) , 但 将 网 址 错 误 输 入 为 www.hardle.com 或www.hardlysoup.com,页面就会转到QuickStop兜售产品的首页。
QuickStop的高级经理认为,如果将首页惯用的蓝色改为绿色、红色或青色,公司的收入可能会随之增加。该公司的数据分析师建了四个版本的网页,测试数周后得出的结论是,其他三种颜色相较于惯用的蓝色都没有显著提高公司收入。那位高级经理大失所望(毕竟这是他的想法),又提议将数据按国家分类,可能就会找到差异。或许,人们偏爱本国国旗的颜色或与本国人性格相匹配的颜色?
果然,按国家进行数据分类后,发现其中一个国家确实有颜色偏好——英国大爱青色。大不列颠是个岛国,可能青色会让英国人想起大不列颠岛四周的海域?那位高级经理认为,原因不重要,重要的是英国人看到青色的网站首页时,会愿意买更多的东西。
当QuickStop正准备将英国版本的网站首页换成青色时,公司有名的数据分析师出面叫停了这个不切实际的想法,并称之为“数据犯规”。这纯粹是数据挖掘,QuickStop并没有怀着“英国是唯一看重网站首页颜色的国家”这个想法来启动实验,更别说“青色是英国偏爱的颜色”了。通过给大约100个国家展示其他三种颜色的页面,该公司的人保证会发现某些颜色有助提高来自某些国家的收益。涉及的颜色和国家越多,他们就越有可能得到有意义的发现——但这不过是巧合罢了。
PDF 物理页索引 841
文件中的第 842 页 · 印刷页码:未识别
那名数据分析师坚持继续测试,搜集了更多关于英国的数据。青色带来的影响消失后,分析师并不感到惊讶。事实上,首页为青色时的收益比目前使用蓝色的收益还要低。
这就是得州神枪手谬误1:测试大量理论,然后重点关注结果中最有意义的测试。以下为谬误2的例子。
另一家互联网营销公司TryAnything向填写网站首页问卷的访问者免费赠送样品。随后,TryAnything运用数据挖掘软件寻找回答问卷与收到样品后回购产品的用户之间有何相关系数。软件惊奇地发现,购买行为与消费者姓氏的长度有关联——姓氏中包含九个以上字母的人更有可能购买产品。TryAnything的经理认为姓氏长度可能代表了种族,他们没有询问任何关于种族的问题,担心会冒犯他人,但他们的产品可能对某些群体来说更有吸引力,也可能并非如此。TryAnything的管理层觉得,他们不需要弄清缘由。他们有昂贵的软件和强大的电脑足矣。数据就是他们想要的全部。
如果QuickStop那名心存质疑的数据分析师在TryAnything任职,他肯定也会说这是数据犯规。数据挖掘程序在交叉分析问卷时,并没有特定的理论指导。问卷有很多问题,肯定会有某些回答与产品销售相关——这不过又是巧合罢了。可惜QuickStop那名数据分析师没有为TryAnything 效 力 , 所 以 该 公 司 没 能 避 免 数 据 犯 规 的 恶 果 。TryAnything挑出所有长姓氏的答卷对象,然后指派销售人员逐个进行电话访问。注意,可不是预录制的宣传电话,都是领工资的真人拨打的真正的通话。这招最后一败涂地,人工拨打电话耗资巨大,几个月后便弃而不用了。
拷问数据
PDF 物理页索引 842
文件中的第 843 页 · 印刷页码:未识别
严谨的研究人员真的会拷问数据吗?大有人在。正因如此,曾经备受推崇的大神才会提出使其如今名誉扫地的想法,如喝咖啡会导致胰脏癌、患病之人能被千里之外的医者的正能量治愈、以女性名称命名的飓风更具杀伤力。
心理学研究生尼克·布朗称,一名高年级研究生给他提了一个似乎很有帮助的建议:“你想知道怎么做吗?我们有很多不成熟的想法,然后做大量的实验,无论我们得到什么数据,都假装这正是我们想要的。
这种草率的态度和想尽办法获取可以发表的结果的压力,导致发表了很多牵强附会、站不住脚、纯粹垃圾的研究。美国可重复性项目(Reproducibility Project)计划复制100项已在三家颇具声望的认知和社会心理学期刊发表的研究,但只成功复制了36项。我们会在后面的章节讲述对医学期刊的统计情况,它们也好不到哪儿去。这些都是顶级期刊中的最佳研究,其他次级期刊中的统计结果也就可想而知了。
学术性研究和商业性研究的最大区别在于,学术界人士可以通过发表研究成果名利双收,而商界研究人员通常要对研究项目保密,因为这些项目都很有可能成为有利可图的专利信息。谷歌不会分享它的搜索算法,高盛也不会分享它的股票交易算法。
然而,这两个领域的研究人员也有相同之处。事实上,很多人都同时涉足这两个领域,比如,我会发表自己的学术研究成果,也会提供不公开发表的咨询服务。相信很多人和我一样。
从事学术性和商业性研究都要接受同样的训练,采用同样的技术,承受同样的压力。学术界研究人士提出有意思的实证发现后会受到嘉奖,商界的研究人员也享有同样的待遇;前者如果没有新的发现或有意思的成果就会受到冷落或面临经费短缺,但至少还抱着铁饭碗,而后者如果一无所获就只能卷铺盖走人。
PDF 物理页索引 843
文件中的第 844 页 · 印刷页码:未识别
大多数拷问数据的商业性研究都因私有协议保护而未公之于众,同时,学术期刊上也发表了很多采用拷问数据方法的研究。下面我们就来深入了解一下数据是如何被虐的。
倒摄回忆
有些研究人员不仅对拷问数据毫无歉意,甚至还鼓励这种做法。著名的社会心理学家达里尔·贝姆写道:
传统的研究过程是先从某个理论中提取一组假说,接着设计和进行研究来检验这组假说,分析数据看看这组假说是被证实还是被证伪,然后按照事件发生的时间顺序写成期刊文章……但如今的研究过程已经不是这样了。心理学的研究过程比这样的过程更加激动人心。
他继续写道:
从每个角度检验(数据),分析不同性别,编造综合指数。如果有数据预示新的假设,设法从不同数据中找到更多证据。如果看到有意思的模型的蛛丝马迹,尝试通过重新组织数据将其变成更明显的特征。如果出现你不喜欢的参与者,或向你提供异常结果的实验者、观察者或访问者,暂时将他们放在一边,看看是否会出现清晰的模型。继续进行摸底调查,寻找那些有意思的发现,来者不拒。
贝姆采用“摸底调查”的方法,的确能够发现一些令人难以置信的 事 情 。 2011 年 , 他 在 一 篇 名 为 “ 感 知 未 来 ” ( Feeling the
PDF 物理页索引 844
文件中的第 845 页 · 印刷页码:未识别
Future)的文章中指出,在电脑屏幕上随机播放色情图片时,有53%的受试者能提前猜到图片会出现在屏幕的左边还是右边。贝姆的摸底调查实验使用了五种类型的图片,他选择强调的是唯一具有统计学意义的那种。引人注目的是,即便运用了得州神枪手谬误1,他能得到的最高概率也只有53%,和抛硬币几乎没有两样。
贝姆更加语出惊人的是,他认为人具有“倒摄回忆”。来自康奈尔大学的本科生自愿参与实验:观看电脑屏幕上出现的48个单词,每三秒看一个。然后,受试学生根据指令可视化该词所指物体(如在看到“tree”这个词的时候,想象树的样子)。看完48个单词后,受试学生被要求输入所有能记住的单词。接着,从这48个单词中随机抽取24个向受试学生展示,并让他们完成各种有助于记忆所抽取单词的任务,例如,点击与树相关的词或重新输入这些词。贝姆的报告称,如果学生在看完屏幕展示的所有词后学习某个单词,那么他们在进行回忆测试时记起该单词的可能性更高。例如,如果他们在屏幕展示后,用点儿技巧记忆“tree”这个单词,那么在回忆测试时,他们记起这个单词的概率就会提高。
仔细想想这其中的言外之意:康奈尔大学的学生整个学期都争分夺秒,到学期结束后开始复习备考,但那时已经考完试了;互联网广告商可以在消费者做出是否购物的决定后,通过广告宣传来提高销量。
不出所料,其他研究人员无法得出和贝姆一样的结果。发表了贝姆《感知未来》一文的期刊,一年后又刊登了题为“痛改前非”(Correcting the Past)的文章,由来自四所大学的四名教授联合撰写。他们在文中表示,有七项实验试图复制贝姆的“人能感知未来”这一观点,但“并没有发现支持这一说法的证据”。对贝姆牵强观点的确凿反驳可谓火上浇油,激起了更大范围的质疑——这种论文怎么就在享有声望的期刊上发表了?此外人们还得知,尝试反驳贝姆观点的其他研究都被期刊拒绝发表,因为这些期刊都有政策规定,不发表复制性实验;还有一种情况是,建议不予发表的评委就是贝姆本人。
PDF 物理页索引 845
文件中的第 846 页 · 印刷页码:未识别
金钱启动效应
我受邀参加谷歌的年度学术性聚会Sci Foo 2015,约有250名科学家、作家和政策制定者齐聚谷歌在加州山景城的公司总部。开幕当晚,在与一名社会心理学家交流的过程中,我了解到一些有趣的实验。将3\~6岁的波兰孩子(这个年龄段的群体对金钱没有概念)分为两组,要求其中一组按颜色给纸币分类,另一组则按颜色给纽扣分类。然后让这些孩子都进入另一个房间完成迷宫图。结果发现,给纸币分类的孩子的完成度和成功率更高(工作效果更佳)。
第二项实验是,让孩子穿过房间把红色蜡笔拿回来。基于第一项实验的结果,我猜给纸币分类的孩子会拿回更多蜡笔,因为他们似乎更喜欢工作。但结果并非如此,给纸币分类的孩子拿回的蜡笔更少。据此,研究人员认为给纸币分类的孩子更不乐于助人。
这些研究人员在其发表的文章中表示,处理金钱“增加了劳动力付出,降低了乐于助人和慷慨大方的程度”,这些影响“不由金钱的面值、孩子对金钱的认知或他们的年龄决定”。
我对整个项目的第一反应就是心存质疑。不知道何为金钱的3岁小孩,怎么才碰一下钱就被影响了?对第二项实验结果的解释,更是加重了我心中的疑团。如果给纸币分类的孩子能取回更多蜡笔,那么这或许可以作为他们更能干的又一证据。他们带回的蜡笔更少,我的解释为他们并不能干。然而,为图方便,这被解释成他们不乐于助人。在我看来,这就像是得州神枪手谬误2。
PDF 物理页索引 846
文件中的第 847 页 · 印刷页码:未识别
我问这名社会心理学家对贝姆的研究有何看法,她表示赞赏。我紧接着又问她如何看待承认自己捏造数据的社会心理学家德里克·斯塔佩尔,她对斯塔佩尔也称赞了一番。于是我转移了话题。
第二天,我在谷歌总部听到,化学家、生物学家、天体物理学家等科学家都表露出自己对“复制危机”的担忧——构思奇特的观点可以在颇负声望的期刊上发表,却无法复制,还谈到这种现象会给科学研究的可信度带来的伤害。其中有位卓越的社会心理学家表示,自己所处的领域就是不可复制研究的典型代表。他的缺省假设是,该领域发表的任何成果都有误,其原因显然是太多社会心理学家都不明白一个最根本的事实——遍搜数据从而发现一个模式,除了能证明他们为了寻找模型而搜遍了数据以外,其他什么都证明不了。我还无意中听到有一小组人在讨论,“孩子看过或摆弄过纸币就会被影响”的说法让人难以置信。
回到家后,我上网四处搜索关于金钱的其他研究,发现有大量文献讲到了启动(priming),分析短时记忆是如何将反应与一系列刺激物联系起来的。例如,如果让受试对象说出以rep开头的单词,假如他们最近见过repair(修理)这个词,便可能回答repair。同样,如果问他们rebuild(重建)是不是一个单词时,在上一个单词是repair的情况下的回答速度比上一个单词是swim(游泳)的快。这些结论都合情合理。
而“金钱启动”的说法就有些牵强附会,例如,小孩子接触金钱后变得更努力、更自私。我发现,有关“金钱启动”的论文都提出,成人在看到与金钱有关的语句(如“我们付得起这个钱”)或电脑屏幕背景图中金钱的模糊图像后,其行为均会受影响。有篇文章(和我在谷歌总部交流过的那名社会心理学家为合作作者之一)的标题颇具争议——“仅接触金钱就会增加对自由市场体制和社会不公的支持”(Mere exposure to money increases endorsement of free-marketsystems and social inequality)。文章作者指出:
PDF 物理页索引 847
文件中的第 848 页 · 印刷页码:未识别
相对于不提金钱概念来说,对金钱概念的细微提醒,都会让参与者整体上更加支持美国现行的社会制度(实验1),尤其是自由市场资本主义制度(实验4),更坚信受害者应该遭此命运(实验2),更相信社会优势群体应该统治社会劣势群体(实验3)。
真是言之凿凿!太过武断,以至于我很肯定事实并非如此。
随后,我冒出了一个很大胆的想法——复制这篇论文的实验。结果显示,找不到该文章提到的任何影响。得州神枪手谬误1发挥了作用,因为最初的论文忽略了那几个并不支持其结论的测试。金钱启动类文章的作者们也予以反驳,激起了第三组科学家加入此次争辩,最后得出了更加确凿的结论:“选择偏倚(selection bias)、报告偏倚(reporting bias)或P值篡改歪曲了”所谓的金钱启动效应。
寻找就会发现
飓风“鲍勃”来袭的时候我住在科德角。新英格兰地区史上较具毁灭性的飓风之一竟然起了如此单纯善良的名字。我也万万没想到,多年以后,伊利诺伊大学的研究人员竟会认为飓风的名字至关重要。
第一次有记者问我对题为“女性名称的飓风比男性名称的飓风更有 杀 伤 力 ” ( Female Hurricanes are Deadlier than MaleHurricanes)的文章有何感想时,我就表示持怀疑态度。1979年以后,飓风就开始轮流使用男性和女性的名称,似乎很难相信,飓风的名称和所造成的死亡人数会存在相关关系,而不止是偶然事件。
原来,虽然文章题目如此,但作者的论点并不在于女性名称的飓风威力更大,而在于人们并不把女性名称的飓风当一回事,不认为它们会带来致命后果,于是没有做好万全准备,这才导致更多人丧命。
PDF 物理页索引 848
文件中的第 849 页 · 印刷页码:未识别
这项研究发表在《美国科学院院报》上,所以肯定没问题,对吗?未必。很多蹩脚的科学研究都曾在著名期刊上发表。
仔细看完这项研究后,我发现了几个更具说服力的质疑理由。
在1950年、1951年和1952年,飓风名称都取自军事语音字母表[如Able(埃布尔)、Baker(贝克)、Charlie(查利)等]。1953年,所有飓风都被换成女性名称。很多女性主义者都公开谴责这种针对女性的性别歧视,罗克西·博尔顿表示:“女人不是灾难,不会摧毁生命和社区,留下持久不消的惨烈后果。”1979年,便开始采用男性和女性名称轮流使用的方法,延续至今。
那项发表在《美国科学院院报》的研究也包括1979年之前的数据,这期间的飓风都采用女性名称命名。将1979年之前的数据都包括在内是很有问题的,因为这期间每场飓风造成的平均死亡人数为29人,1979年之后为16人。女性名称的飓风造成的平均死亡人数整体上升,也是由于1979年以前的飓风更具杀伤力,而当时所有飓风都采用女性名称。或许,早年死亡人数更多是因为飓风威力更强(在所有飓风都采用女性名称期间,飓风平均强度为2.26级,之后的时期为1.96级)、建筑物更脆弱、提前预警更少。
没有确切方法能比较1979年前后的暴风预警,但是有一则传闻性证据说明如今的提前预警更频繁。1938年9月20日,马萨诸塞州斯普林菲尔德市的报纸《斯普林菲尔德联合报》刊登了该州西部的天气预报:“今日有雨,明日或将有雨。”第二天,1938年的“大飓风”(Great Hurricane)来袭,造成该州99人丧命。斯普林菲尔德市的康涅狄格河水位超过了洪水水位。一共有将近700人丧生,财产损失估计相当于2015年的50亿美元。75年后,马萨诸塞州汤顿市美国国家气象局气象专家表示:“真想不到1938年会发生那样的飓风,毫无预警。”
美国国家海洋及大气管理局(NOAA)于2012年自夸道:
PDF 物理页索引 849
文件中的第 850 页 · 印刷页码:未识别
NOAA针对海洋及大气研究的投入,加上技术的发展,使得针对飓风的监测和预警获得了令人瞩目的进步。投入和技术的结合让我们拥有复杂的计算机模型、基于地面和海洋的庞大感应器网络、卫星以及飓风搜寻飞机……过去半个世纪取得的进步,大大推动了飓风预警的发展。尽管沿海居民人口不断增加,飓风造成的死亡人数还是出现了大幅下降。
即便知道NOAA是在自我推销,也能明显看出,将1979年以前飓风的危险程度等同于最近时期的是潜在的误导行为。分析1979年以后轮流使用男性和女性名称的飓风更具有科学效力。
《美国科学院院报》的研究还忽略了几次致命的飓风。一份报告描述了2009年的飓风“比尔”:
“比尔”生成的长风、巨浪和激流在美国造成了两人死亡。虽然沿岸地区都发布了危险巨浪的预警,但8月24日,还是有1万多人聚集在缅因州阿卡迪亚国家公园的海边观看这场飓风。一波海浪将20人卷入海里;11人被送入院,一名7岁女孩身亡。再看其他地方,佛罗里达州新士麦那海滩上,一名54岁的游泳者被巨浪冲到岸上不省人事,随后丧命。
飓风“比尔”并没有被包含在《美国科学院院报》那项研究的数据中,是因为飓风“比尔”并没有真正登陆。上述插曲也能说明人们并没有把飓风“比尔”当成一回事。
该研究论文的作者写道,在他们分析的数据中,女性名称的飓风在重大风暴期间“导致”更多人丧生,但是“男性名称的飓风和女性名称的飓风对于威力较小的风暴没有影响”。这似乎说反了。分别以男性名称和女性名称命名的大飓风所造成损失的差异应该更小,以飓风“桑迪”为例,它是研究的数据中1978年后最致命的飓风。