--- schema_version: "library-reader-v1" source_type: "original_book" title: "大数据时代生活,工作与思维的大变革" author: null edition: null publisher: null year: null isbn: null library_document_id: "4e51e488-5704-438f-b921-0a77b3af1e73" source_sha256: "ee827419b671537936a1ca3e5a0d9b2b119b358e751ef2c5850e59fbd150cc76" pdf_physical_page_count: 141 pdf_physical_page_index_base: 0 range_start: 50 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73?start=50&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=50&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=40&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=60&limit=10" --- # 大数据时代生活,工作与思维的大变革 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=50 | PRINTED_PAGE=NOT_DETECTED 除了仅仅依靠相关关系，专家们还会使用一些建立在理论基础上的假想来指导自己选择适当的关联物。这些理论就是一些抽象的观点，关于事物是怎样运作的。然后收集与关联物相关的数据来进行相关关系分析，以证明这个关联物是否真的合适。如果不合适，人们通常会固执地再次尝试，因为担心可能是数据收集的错误，而最终却不得不承认一开始的假想甚至假想建立的基础都是有缺陷和必须修改的。这种对假想的反复试验促进了学科的发展。但是这种发展非常缓慢，因为个人以及团体的偏见会蒙蔽我们的双眼，导致我们在设立假想、应用假想和选择关联物的过程中犯错误。总之，这是一个烦琐的过程，只适用于小数据时代。 在大数据时代，通过建立在人的偏见基础上的关联物监测法已经不再可行，因为数据库太大而且需要考虑的领域太复杂。幸运的是，许多迫使我们选择假想分析法的限制条件也逐渐消失了。我们现在拥有如此多的数据，这么好的机器计算能力，因而不再需要人工选择一个关联物或者一小部分相似数据来逐一分析了。复杂的机器分析能为我们辨认出谁是最好的代理，就像在谷歌流感趋势中，计算机把检索词条在5亿个数学模型上进行测试之后，准确地找出了哪些是与流感传播最相关的词条。 我们理解世界不再需要建立在假设的基础上，这个假设是指针对现象建立的有关其产生机制和内在机理的假设。因此，我们也不需要建立这样一个假设，关于哪些词条可以表示流感在何时何地传播；我们不需要了解航空公司怎样给机票定价；我们不需要知道沃尔玛的顾客的烹饪喜好。取而代之的是，我们可以对大数据进行相关关系分析，从而知道哪些检索词条是最能显示流感的传播的，飞机票的价格是否会飞涨，哪些食物是飓风期间待在家里的人最想吃的。我们用数据驱动的关于大数据的相关关系分析法，取代了基于假想的易出错的方法。大数据的相关关系分析法更准确、更快，而且不易受偏见的影响。 建立在相关关系分析法基础上的预测是大数据的核心。这种预测发生的频率非常高，以至于我们经常忽略了它的创新性。当然，它的应用会越来越多。 大数据先锋 FICO，“我们知道你明天会做什么” 一个人的信用常被用来预测他/她的个人行为。美国个人消费信用评估公司，也被称为FICO，在20世纪50年代发明了信用分。2011年，FICO提出了“遵从医嘱评分”——它分析一系列的变量来确定这个人是否会按时吃药，包括一些看起来有点怪异的变量。比方说，一个人在某地居住了多久，这个人结婚了没有，他多久换一个工作以及他是否有私家车。这个评分会帮助医疗机构节省开支，因为它们会知道哪些人需要得到它们的用药提醒。有私家车和使用抗生素并没有因果关系，这只是一种相关关系。但是这就足够激发FICO的首席执行官扬言，“我们知道你明天会做什么。”这是他在2011年的投资人大会上说的。 另一个征信机构，益百利（Experian）有一种服务，可以根据个人的信用卡交易记录预测个人的收入情况。通过分析公司拥有的信用卡历史记录数据库和美国国税局的匿名税收数据，益百利能够得出评分结果。 ## PDF_PHYSICAL_PAGE_INDEX=51 | PRINTED_PAGE=NOT_DETECTED 大数据的力量 证明一个人的收入状况要花费10美元左右，但是益百利的预测结果售价不足1美元。 所以有时候，通过代理取得数据信息比自己去操作烦琐的程序要便宜得多。同时还有另一个征信机构出售“支付能力指数”和“可支配支出指数”，这些指数是用来预测一个人的支付能力的。 相关关系的运用更加广泛了。中英人寿保险有限公司（Aviva）是一家大型保险公司，他们想利用信用报告和顾客市场分析数据来作为部分申请人的血液和尿液分析的关联物。这些分析结果被用来找出更有可能患高血压、糖尿病和抑郁症的人。其中用来分析的数据包括好几百种生活方式的数据，比如爱好、常浏览的网站、常看的节目、收入估计等。 Aviva的预测模型是由德勤咨询公司发明的，公司觉得这可以用来发现健康隐患。其他保险公司如英国保诚保险有限公司（Prudentia）和美国国际集团（AIG）都承认它们也在考虑类似的方法。好处就是，申请者不再需要提供血液和尿液样本了，因为大家都不太喜欢做这个事情。 大数据的力量 通过利用相关关系，保险公司可以在每人身上节省125美元，然而这个纯数据分析法只需要花费5美元。 有些人可能会觉得这种方法听起来很恐怖，这些公司似乎可以利用任何网络上的信息。这会让人们下次登陆极限运动网站和坐到电视机前观看幽默情景剧前三思而后行，因为不想因此支付更多的保险费用。让我们在接触任何信息的时候（同时也产生可能被分析的数据）都胆战心惊是一件非常糟糕的事情。但另一方面，这个系统有助于更多的人得到保险，这对于社会和保险公司都是有好处的。 大数据先锋 美国折扣零售商塔吉特与怀孕预测 大数据相关关系分析的极致，非美国折扣零售商塔吉特（Target）莫属了。该公司使用大数据的相关关系分析已经有多年。《纽约时报》的记者查尔斯·杜西格（Charles Duhigg）就在一份报道中阐述了塔吉特公司怎样在完全不和准妈妈对话的前提下预测一个女性会在什么时候怀孕。基本上来说，就是收集一个人可以收集到的所有数据，然后通过相关关系分析得出事情的真实状况。 对于零售商来说，知道一个顾客是否怀孕是非常重要的。因为这是一对夫妻改变消费观念的开始，也是一对夫妻生活的分水岭。他们会开始光顾以前不会去的商店，渐渐对新的品牌建立忠诚。塔吉特公司的市场专员们向分析部求助，看是否有什么办法能够通过一个人的购物方式发现她是否怀孕。 公司的分析团队首先查看了签署婴儿礼物登记簿的女性的消费记录。塔吉特公司注意到，登记簿上的妇女会在怀孕大概第三个月的时候买很多无香乳液。几个月之后，她们会买一些营养品，比如镁、钙、锌。公司最终找出了大概20多种关联物，这些关联物可以给顾客进行“怀孕趋势”评分。这些相关关系甚至使得零售商能够比较准确地预测预产期，这样就能够在孕期的每个阶段给客户寄送相应的优惠券，这才是塔吉特公司的目的。 ## PDF_PHYSICAL_PAGE_INDEX=52 | PRINTED_PAGE=NOT_DETECTED 杜西格在《习惯的力量》（The Power of Habit）一书中讲到了接下来发生的事情。一天，一个男人冲进了一家位于明尼阿波利斯市郊的塔吉特商店，要求经理出来见他。他气愤地说：“我女儿还是高中生，你们却给她邮寄婴儿服和婴儿床的优惠券，你们是在鼓励她怀孕吗？”而当几天后，经理打电话向这个男人致歉时，这个男人的语气变得平和起来。他说：“我跟我的女儿谈过了，她的预产期是8月份，是我完全没有意识到这个事情的发生，应该说抱歉的人是我。” 在社会环境下寻找关联物只是大数据分析法采取的一种方式。同样有用的一种方法是，通过找出新种类数据之间的相互联系来解决日常需要。比方说，一种称为预测分析法的方法就被广泛地应用于商业领域，它可以预测事件的发生。这可以指一个能发现可能的流行歌曲的算法系统——音乐界广泛采用这种方法来确保它们看好的歌曲真的会流行；也可以指那些用来防止机器失效和建筑倒塌的方法。现在，在机器、发动机和桥梁等基础设施上放置传感器变得越来越平常了，这些传感器被用来记录散发的热量、振幅、承压和发出的声音等。 一个东西要出故障，不会是瞬间的，而是慢慢地出问题的。通过收集所有的数据，我们可以预先捕捉到事物要出故障的信号，比方说发动机的嗡嗡声、引擎过热都说明它们可能要出故障了。系统把这些异常情况与正常情况进行对比，就会知道什么地方出了毛病。通过尽早地发现异常，系统可以提醒我们在故障之前更换零件或者修复问题。通过找出一个关联物并监控它，我们就能预测未来。 大数据先锋 UPS与汽车修理预测 UPS国际快递公司从2000年就开始使用预测性分析来监测自己全美60000辆车规模的车队，这样就能及时地进行防御性的修理。如果车在路上抛锚损失会非常大，因为那样就需要再派一辆车，会造成延误和再装载的负担，并消耗大量的人力物力，所以以前UPS每两三年就会对车辆的零件进行定时更换。但这种方法不太有效，因为有的零件并没有什么毛病就被换掉了。通过监测车辆的各个部位，UPS如今只需要更换需要更换的零件，从而节省了好几百万美元。有一次，监测系统甚至帮助UPS发现了一个新车的一个零件有问题，因此免除了可能会造成的困扰。 无独有偶，桥梁和建筑物上也被安装了传感器来监测磨损程度。大型化工厂和提炼厂也安装了传感器，因为一旦设备的某一个零件有问题，就只有在更换了零件之后生产才能继续进行。收集和分析数据的花费比出现停产的损失小得多。预测性分析并不能解释故障可能会发生的原因，只会告诉你存在什么问题，也就说它并不能告诉你引擎过热是因为什么，磨损的风扇皮带？没拧紧的螺帽？没有答案。 同样的方法也可以运用在人身上。医院使用医疗设备在病人身上装上各种管线同时得到大量的数据。心电图每秒钟就能产生1000个读数。但是只有部分的数据是被保存使用的，大部分都束之高阁了，即使这些数据都能在一定程度上表现出病人的情况。当与其他病人的数据一起考虑的时候，它们就能显现出哪些治疗方法是有效的。 当收集、存储和分析数据的成本比较高的时候，应该适当地丢弃一些数据。安大略理工大学的卡罗琳·麦格雷戈（Carolyn McGregor）博士和一支研究队伍与IBM一起和很多医院合作，用一个软件来监测处理即时的病人信息，然后把它用于早产儿的病情诊断。系统会监控16个不同地方的数据，比如心率、呼吸、体温、血压和血氧含量，这些数据可以达到每秒钟1260个数据点之多。 ## PDF_PHYSICAL_PAGE_INDEX=53 | PRINTED_PAGE=NOT_DETECTED 在明显感染症状出现的24小时之前，系统就能监测到早产儿细微的身体变化发出的感染信号。麦格雷戈博士说：“你无法用肉眼看到，但计算机可以看到。”这个系统依赖的是相关关系，而不是因果关系。它告诉你的是会发生什么，而不是为什么发生。这正是这个系统的价值！提早知道病情，医生就能够提早治疗，也能更早地知道某种疗法是否有效，这一切都有利于病人的康复。所以，未来这个系统估计会应用到所有病人身上。这个系统可能不会自己做决定，但是它已经做到了机器能做到的最好，那就是帮助人类做到最好。 惊人的是，麦格雷戈博士的大数据分析法能发现一些与医生的传统看法相违背的相关关系。比如说她发现，稳定的生命体征表明病人发生了严重的感染。这很奇怪，因为医生一般认为恶化的疼痛才是全面感染的征兆。你可以想象，以前医生都是下班的时候看看婴儿床旁边的记录本，觉得病情稳定了，也就下班回家了。只有半夜护士的紧急电话才让他们知道大事不好了，他们的直觉犯了大错误。数据表明，早产儿的稳定不但不是病情好转的标志，反而是暴风雨前的宁静，就像是身体要它的器官做好抵抗困难的准备。但是我们也不太确定，我们不知道具体原因，只是看到了相关关系。这需要海量的数据并且找出隐含的相关性才能发现。但是，大数据挽救了很多生命，这是毫无疑问的。 “是什么”，而不是“为什么” 在小数据时代，相关关系分析和因果分析都不容易，都耗费巨大，都要从建立假设开始。然后我们会进行实验——这个假设要么被证实要么被推翻。但由于两者都始于假设，这些分析就都有受偏见影响的可能，而且极易导致错误。与此同时，用来做相关关系分析的数据很难得到，收集这些数据时也耗资巨大。现今，可用的数据如此之多，也就不存在这些难题了。 当然，还有一种不同的情况也逐渐受到了人们的重视。在小数据时代，由于计算机能力的不足，大部分相关关系分析仅限于寻求线性关系。这个情况随着数据的增加肯定会发生改变。事实上，实际情况远比我们所想象的要复杂。经过复杂的分析，我们能够发现数据的“非线性关系”。 大数据先锋 幸福的非线性关系 多年来，经济学家和政治家一直错误地认为收入水平和幸福感是成正比的。我们从数据图表上可以看到，虽然统计工具呈现的是一种线性关系，但事实上，它们之间存在一种更复杂的动态关系：对于收入水平在1万美元以下的人来说，一旦收入增加，幸福感会随之提升；但对于收入水平在1万美元以上的人来说，幸福感并不会随着收入水平提高而提升。如果能发现这层关系，我们看到的就应该是一条曲线，而不是统计工具分析出来的直线。 这个发现对决策者来说非常重要。如果只看到线性关系的话，那么政策重心应完全放在增加收入上，因为这样才能增加全民的幸福感。而一旦察觉到这种非线性关系，策略的重心就会变成提高低收入人群的收入水平，因为这样明显更划算。 当相关关系变得更复杂时，一切就更混乱了。比如，各地麻疹疫苗接种率的差别与人们在医疗保健上的花费似乎有关联。但是，最近哈佛与麻省理工的联合研究小组发现，这种关联不是简单的线性关系，而是一个复杂的曲线图。和预期相同的是，随着人们在医疗上花费的增多，麻疹疫苗接种率的差别会变小；但令人惊讶的是，当增加到一定程度时，这种差别又会变大。发现这种关系对公共卫生官员来说非常重要，但是普通的线性关系分析师是无法捕捉到这个重要信息的。 ## PDF_PHYSICAL_PAGE_INDEX=54 | PRINTED_PAGE=NOT_DETECTED 如今，专家们正在研发能发现并对比分析非线性关系的必要技术工具[5]。一系列飞速发展的新技术和新软件也从多方面提高了相关关系分析工具发现非因果关系的能力，这就好比立体派画家同时从多个角度来表现女性脸庞的手法。 网络分析行业的出现就是一个最明显的例子。多亏了它，让描绘、测量、计算各节点之间的关系变成了可能，我们可以从Facebook上认识更多的朋友，还可以知道法庭上的一些判决的先例，以及谁给谁打了电话。总之，这些工具为回答非因果关系及经验性的问题提供了新的途径。 在大数据时代，这些新的分析工具和思路为我们提供了一系列新的视野和有用的预测，我们看到了很多以前不曾注意到的联系，还掌握了以前无法理解的复杂技术和社会动态。但最重要的是，通过去探求“是什么”而不是“为什么”，相关关系帮助我们更好地了解了这个世界。 这听起来似乎有点违背常理。毕竟，人们都希望通过因果关系来了解这个世界。我们也相信，只要仔细观察，就会发现万事万物皆有因缘。了解事情的起因难道不是我们最大的愿望吗？ 在哲学界，关于因果关系是否存在的争论已经持续了几个世纪。毕竟，如果凡事皆有因果的话，那么我们就没有决定任何事的自由了。如果说我们做的每一个决定或者每一个想法都是其他事情的结果，而这个结果又是由其他原因导致的，以此循环往复，那么就不存在人的自由意志这一说了——所有的生命轨迹都只是受因果关系的控制了。因此，对于因果关系在世间所扮演的角色，哲学家们争论不休，有时他们认为，这是与自由意志相对立的。当然，关于理论的争辩并不是我们要研究的重点。 大数据洞察 当我们说人类是通过因果关系了解世界时，我们指的是我们在理解和解释世界各种现象时使用的两种基本方法：一种是通过快速、虚幻的因果关系，还有一种就是通过缓慢、有条不紊的因果关系。大数据会改变这两种基本方法在我们认识世界时所扮演的角色。 首先，我们的直接愿望就是了解因果关系。即使无因果联系存在，我们也还是会假定其存在。研究证明，这只是我们的认知方式，与每个人的文化背景、生长环境以及教育水平是无关的。当我们看到两件事情接连发生的时候，我们会习惯性地从因果关系的角度来看待它们。看看下面的三句话：“弗雷德的父母迟到了；供应商快到了；弗雷德生气了。” 我们读到这里时，可能立马就会想到弗雷德生气并不是因为供应商快到了，而是他父母迟到了的缘故。实际上，我们也不知道到底是什么情况。即便如此，我们还是不禁认为这些假设的因果关系是成立的。 普林斯顿大学心理学专家，同时也是2002年诺贝尔经济学奖得主丹尼尔·卡尼曼（DanielKahneman）就是用这个例子证明了人有两种思维模式。第一种是不费力的快速思维，通过这种思维方式几秒钟就能得出结果；另一种是比较费力的慢性思维，对于特定的问题，就是需要考虑到位。 快速思维模式使人们偏向用因果联系来看待周围的一切，即使这种关系并不存在。这是我们对已有的知识和信仰的执著。在古代，这种快速思维模式是很有用的，它能帮助我们在信息量缺乏却必须快速做出决定的危险情况下化险为夷。但是，通常这种因果关系都是并不存在的。 ## PDF_PHYSICAL_PAGE_INDEX=55 | PRINTED_PAGE=NOT_DETECTED 卡尼曼指出，平时生活中，由于惰性，我们很少慢条斯理地思考问题。所以快速思维模式就占据了上风。因此，我们会经常臆想出一些因果关系，最终导致了对世界的错误理解。 父母经常告诉孩子，天冷时不戴帽子和手套就会感冒。然而，事实上，感冒和穿戴之间却没有直接的联系。有时，我们在某个餐馆用餐后生病了的话，我们就会自然而然地觉得这是餐馆食物的问题，以后可能就不再去这家餐馆了。事实上，我们肚子痛也许是因为其他的传染途径，比如和患者握过手之类的。然而，我们的快速思维模式使我们直接将其归于任何我们能在第一时间想起来的因果关系，因此，这经常导致我们做出错误的决定。 与常识相反，经常凭借直觉而来的因果关系并没有帮助我们加深对这个世界的理解。很多时候，这种认知捷径只是给了我们一种自己已经理解的错觉，但实际上，我们因此完全陷入了理解误区之中。就像采样是我们无法处理全部数据时的捷径一样，这种找因果关系的方法也是我们大脑用来避免辛苦思考的捷径。 在小数据时代，很难证明由直觉而来的因果联系是错误的。现在，情况不一样了。将来，大数据之间的相关关系，将经常会用来证明直觉的因果联系是错误的。最终也能表明，统计关系也不蕴含多少真实的因果关系。总之，我们的快速思维模式将会遭受各种各样的现实考验。 令人欣喜的是，为了更好地了解世界，我们会因此更加努力地思考。但是，即使是我们用来发现因果关系的第二种思维方式——慢性思维，也将因为大数据之间的相关关系迎来大的改变。 日常生活中，我们习惯性地用因果关系来考虑事情，所以会认为，因果联系是浅显易寻的。但事实却并非如此。与相关关系不一样，即使用数学这种比较直接的方式，因果联系也很难被轻易证明。我们也不能用标准的等式将因果关系表达清楚。因此，即使我们慢慢思考，想要发现因果关系也是很困难的。因为我们已经习惯了信息的匮乏，故此亦习惯了在少量数据的基础上进行推理思考，即使大部分时候很多因素都会削弱特定的因果关系。 就拿狂犬疫苗这个例子来说，1885年7月6日，法国化学家路易·巴斯德（Louis Pasteur）接诊了一个9岁的小孩约瑟夫·梅斯特（Joseph Meister），他被带有狂犬病毒的狗咬了。那时，巴斯德刚刚研发出狂犬疫苗，也实验验证过效果了。梅斯特的父母就恳求巴斯德给他们的儿子注射一针。巴斯德做了，梅斯特活了下来。发布会上，巴斯德因为把一个小男孩从死神手中救出而大受褒奖。 但真的是因为他吗？事实证明，一般来说，人被狂犬病狗咬后患上狂犬病的概率只有七分之一。即使巴斯德的疫苗有效，这也只适用于七分之一的案例中。无论如何，就算没有狂犬疫苗，这个小男孩活下来的概率还是有85%。 在这个例子中，大家都认为是注射疫苗救了梅斯特一命。但这里却有两个因果关系值得商榷。第一个是疫苗和狂犬病毒之间的因果关系，第二个就是被带有狂犬病毒的狗咬和患狂犬病之间的因果关系。即便是说疫苗能够医好狂犬病，第二个因果关系也只适用于极少数情况。 不过，科学家已经克服了用实验来证明因果关系的难题。实验是通过是否有诱因这两种情况，分别来观察所产生的结果是不是和真实情况相符，如果相符就说明确实存在因果关系。这个衡量假说的验证情况控制得越严格，你就会发现因果关系越有可能是真实存在的。 因此，与相关关系一样，因果关系被完全证实的可能性几乎是没有的，我们只能说，某两者之间很有可能存在因果关系。但两者之间又有不同，证明因果关系的实验要么不切实际，要么违背社会伦理道德。比方说，我们怎么从5亿词条中找出和流感传播最相关的呢？我们难道真能为了找出被咬和患病之间的因果关系而置成百上千的病人的生命于不顾吗？因为实验会要求把部分病人当成未被咬的“控制组”成员来对待，但是就算给这些病人打了疫苗，我们又能保证万无一失吗？而且就算这些实验可以操作，操作成本也非常的昂贵。 ## PDF_PHYSICAL_PAGE_INDEX=56 | PRINTED_PAGE=NOT_DETECTED 不像因果关系，证明相关关系的实验耗资少，费时也少。与之相比，分析相关关系，我们既有数学方法，也有统计学方法，同时，数字工具也能帮我们准确地找出相关关系。 相关关系分析本身意义重大，同时它也为研究因果关系奠定了基础。通过找出可能相关的事物，我们可以在此基础上进行进一步的因果关系分析，如果存在因果关系的话，我们再进一步找出原因。这种便捷的机制通过严格的实验降低了因果分析的成本。我们也可以从相互联系中找到一些重要的变量，这些变量可以用到验证因果关系的实验中去。 可是，我们必须非常认真。相关关系很有用，不仅仅是因为它能为我们提供新的视角，而且提供的视角都很清晰。而我们一旦把因果关系考虑进来，这些视角就有可能被蒙蔽掉。 例如，Kaggle，一家为所有人提供数据挖掘竞赛平台的公司，举办了关于二手车的质量竞赛。二手车经销商将二手车数据提供给参加比赛的统计学家，统计学家们用这些数据建立一个算法系统来预测经销商拍卖的哪些车有可能出现质量问题。相关关系分析表明，橙色的车有质量问题的可能性只有其他车的一半。 当我们读到这里的时候，不禁也会思考其中的原因。难道是因为橙色车的车主更爱车，所以车被保护得更好吗？或是这种颜色的车子在制造方面更精良些吗？还是因为橙色的车更显眼、出车祸的概率更小，所以转手的时候，各方面的性能保持得更好？ 马上，我们就陷入了各种各样谜一样的假设中。若要找出相关关系，我们可以用数学方法，但如果是因果关系的话，这却是行不通的。所以，我们没必要一定要找出相关关系背后的原因，当我们知道了“是什么”的时候，“为什么”其实没那么重要了，否则就会催生一些滑稽的想法。比方说上面提到的例子里，我们是不是应该建议车主把车漆成橙色呢？毕竟，这样就说明车子的质量更过硬啊！ 考虑到这些，如果把以确凿数据为基础的相关关系和通过快速思维构想出的因果关系相比的话，前者就更具有说服力。但在越来越多的情况下，快速清晰的相关关系分析甚至比慢速的因果分析更有用和更有效。慢速的因果分析集中体现为通过严格控制的实验来验证的因果关系，而这必然是非常耗时耗力的。 近年来，科学家一直在试图减少这些实验的花费，比如说，通过巧妙地结合相似的调查，做成“类似实验”。这样一来，因果关系的调查成本就降低了，但还是很难与相关关系体现的优越性相抗衡。还有，正如我们之前提到的，在专家进行因果关系的调查时，相关关系分析本来就会起到帮助的作用。 大数据洞察 在大多数情况下，一旦我们完成了对大数据的相关关系分析，而又不再满足于仅仅知道“是什么”时，我们就会继续向更深层次研究因果关系，找出背后的“为什么”。 因果关系还是有用的，但是它将不再被看成是意义来源的基础。在大数据时代，即使很多情况下，我们依然指望用因果关系来说明我们所发现的相互联系，但是，我们知道因果关系只是一种特殊的相关关系。相反，大数据推动了相关关系分析。相关关系分析通常情况下能取代因果关系起作用，即使不可取代的情况下，它也能指导因果关系起作用。曼哈顿沙井盖（即下水道的修检口）的爆炸就是一个很好的例子。 ## PDF_PHYSICAL_PAGE_INDEX=57 | PRINTED_PAGE=NOT_DETECTED 改变，从操作方式开始 每年，因沙井盖内部失火，纽约每年有很多沙井盖会发生爆炸。重达300磅的沙井盖在轰然塌在地上之前可以冲出几层楼高。这可不是什么好事。 为纽约提供电力支持的联合爱迪生电力公司（Con Edison）每年都会对沙井盖进行常规检查和维修。过去，这完全看运气，如果工作人员检查到的正好是即将爆炸的就最好了，因为沙井盖爆炸威力可不小。2007年，联合爱迪生电力公司向哥伦比亚大学的统计学家求助，希望他们通过对一些历史数据的研究，比如说通过研究以前出现过的问题、基础设施之间的联系，进而预测出可能会出现问题并且需要维修的沙井盖。如此一来，它们就只要把自己的人力物力集中在维修这些沙井盖上。 这是一个复杂的大数据问题。光在纽约，地下电缆就有15万公里，都足够环绕地球三周半了。而曼哈顿有大约51000个沙井盖和服务设施，其中很多设施都是在爱迪生那个时代建成的，而且有二十分之一的电缆在1930年之前就铺好了。尽管1880以来的数据都保存着，却很杂乱，因为从没想过要用来进行数据分析。这些数据都是由会计人员或进行整修的工作人员记录下来的，因为是手记，所以说这些数据杂乱一点也不为过。比如说，常见的“服务设施”代码就有38个之多，而计算机算法需要处理的就是这么混乱的数据：SB，S，S/B，S.B，S?B，S.B.，SBX，S/BX，SB/X，S/XB，/SBX，S.BX，S＆BX，S?BX，S BX，S/B/X，BOX，SVBX，SERV BX，SERV-BOX，SERV/BOX，SERVICE BOX 负责这个项目的统计学家辛西亚·鲁丁（Cynthia Rudin）回忆道： 乍看这些数据的时候，我们从未想过能从这些未经处理的数据中找出想要的信息。我打印了一个关于所有电缆的表格。如果把这个表格卷起来的话，除非你在地上拖，不然你绝对提不起它来。而我们需要处理的就是这么多没有处理过的数据。只有理解了这些数据，才能从中淘金，并倾己所有创建一个好的预测模型。 鲁丁和她的同事必须在工作中使用所有的数据，而不能是样本，因为说不定，这成千上万个沙井盖中的某一个就是一个定时炸弹，所以只有使用“样本=总体”的方法才可以。虽然找出因果关系也是不错的，但是这可能需要一个世纪之久，而且还不一定找得对。要完成这项任务，比较好的办法就是，找出它们之间的相关关系。相比“为什么”，她更关心“是什么”。但是她也知道当面对联合爱迪生电力公司高层的时候，她需要证明选择方案的正确性。预测可能是由机器完成的，但是消费者是人类，而人就习惯性地想通过找出原因来理解事物。 鲁丁希望尽快找到整理这些数据的便捷方法。她们将杂乱的数据整理好给机器处理，由此发现了大型沙井盖爆炸的106种预警情况。在布朗克斯（Bronx）的电网测试中，他们对2008年中期之前的数据都进行了分析，并利用这些数据预测了2009年会出现问题的沙井盖。预测效果非常好，在他们列出的前10%的高危沙井盖名单里，有44%的沙井盖都发生了严重的事故。 最终，最重要的因素是这些电缆的使用年限和有没有出现过问题。讽刺的是，这个发现非常有意义，因为联合爱迪生电力公司的高层们可以在此基础上，迅速进行沙井盖事故可能性排序。但是，这些因素看起来会不会太过明显了？ ## PDF_PHYSICAL_PAGE_INDEX=58 | PRINTED_PAGE=NOT_DETECTED 好吧，既是又不是。因为一方面，就像数学家邓肯·沃茨（Duncan Watts）说的，“一旦你知道了结果，一切都很容易。”但是另一方面，我们不能忘记最开始的时候我们可是找出了106种预警情况。如何权衡以及优先修理成千上万个沙井盖中的哪一个，这不是那么容易做出决定的，因为各种各样的因素加入到了这个庞大的数据库中，而且这些数据记录的方式使得它本来就不适合处理分析。 这个例子说明了数据正在以新的方式帮助我们解决现实生活中的难题。 大数据洞察 我们需要改变我们的操作方式，使用我们能收集到的所有数据，而不仅仅是使用样本。我们不能再把精确性当成重心，我们需要接受混乱和错误的存在。另外，我们应该侧重于分析相关关系，而不再寻求每个预测背后的原因。 大数据，改变人类探索世界的方法 在小数据时代，我们会假想世界是怎么运作的，然后通过收集和分析数据来验证这种假想。在不久的将来，我们会在大数据的指导下探索世界，不再受限于各种假想。我们的研究始于数据，也因为数据我们发现了以前不曾发现的联系。 假想通常来自自然理论或社会科学，它们也是帮助我们解释和预测周遭世界的基础。随着由假想时代到数据时代的过渡，我们也很可能认为我们不再需要理论了。 2008年，《连线》杂志主编克里斯·安德森（Chris Anderson）就指出：“数据爆炸使得科学的研究方法都落伍了。”后来，他又在《拍字节时代》（The Petabyte Age）的封面故事中讲到，大量的数据从某种程度上意味着“理论的终结”。安德森也表示，用一系列的因果关系来验证各种猜想的传统研究范式已经不实用了，如今它已经被无需理论指导的纯粹的相关关系研究所取代。 为了支撑自己的观点，安德森阐述了量子物理学已变成一门纯理论学科的原因，就是因为实验复杂、耗费多而且不可行。他潜在的观点就是，量子物理学的理论已经脱离实际。[6]他提到了谷歌的搜索引擎和基因排序工程，指出：“现在已经是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且只要数据足够，就能说明问题。如果你有一拍字节的数据，只要掌握了这些数据之间的相关关系，一切就都迎刃而解了。” 这篇文章引发了激烈的争论，虽然安德森本人很快就意识到自己的言辞过于激烈了，但是他的观点确实值得深思。安德森的核心思想是，直到目前为止，我们一直都是把理论应用到实践中来分析和理解世界，而如今处在大数据时代，我们不再需要理论了，只要关注数据就足够了。这就意味着所有的普遍规则都不重要了，比方说世界的运作、人类的行为、顾客买什么、东西什么时候会坏等。如今，重要的就是数据分析，它可以揭示一切问题。 大数据洞察 “理论的终结”似乎暗示着，尽管理论仍存在于像物理、化学这样的学科里，但大数据分析不需要成形的概念。这实在荒谬。 大数据是在理论的基础上形成的。比方说，大数据分析就用到了统计和数学理论，有时候也会用到计算机科学理论。是的，这不是关于像地心引力这样特定现象的产生原因的理论，但是无论如何这依然是理论。而且如我们所见，建立在这些理论上的大数据分析模式是实现大数据预测能力的重要因素。事实上，就是因为不受限于传统的思维模式和特定领域里隐含的固有偏见，大数据才能为我们提供如此多新的深刻洞见。 ## PDF_PHYSICAL_PAGE_INDEX=59 | PRINTED_PAGE=NOT_DETECTED 首先就是关于我们怎么收集数据。我们会不会仅仅看数据收集的方便程度来决定呢？或者看数据收集的成本？我们做这些决定的时候就被理论所影响着，而就如达纳·博伊德（DanahBoyd）和凯特·克劳福德（Kate Crawford）说的，我们的选择一定程度上决定了结果。毕竟，谷歌是用检索词来预测流感而不是鞋码。同样，我们在分析数据的时候，也依赖于理论来选择我们使用的工具。最后，我们解读研究结果的时候同样会使用理论。大数据时代绝对不是一个理论消亡的时代，相反地，理论贯穿于大数据分析的方方面面。 作为第一提出问题的人，安德森应该获得掌声——尽管他的答案不怎么样！大数据绝不会叫嚣“理论已死”，但它毫无疑问会从根本上改变我们理解世界的方式。很多旧有的习惯将被颠覆，很多旧有的制度将面临挑战。 大数据时代将要释放出的巨大价值使得我们选择大数据的理念和方法不再是一种权衡，而是通往未来的必然改变。但是在我们到达目的地之前，我们有必要了解怎样才能到达。高科技行业里的很多人认为是依靠新的工具，从高速芯片到高效软件等。当然，这可以理解为因为他们自己是工具创造者。这些问题固然重要，但不是我们需要考虑的问题。大数据趋势的深层原因，就是海量数据的存在以及越来越多的事物是以数据形式存在的，这也是我们下一章要谈论的内容。 [1] 算法思路可参考林登2003年在IEEE Internet Computing上发表的名为“Amazon.comrecommendations：item-to-item collaborative filtering”一文。当然，如同谷歌源于PageRank而现在远不仅是PageRank，亚马逊目前的推荐也远远不止基于对象的协同过滤那么简单。举例而言，我所熟悉的百分点通用推荐引擎就包含了数十种常用算法，数千条行业规则和针对用户意图的场景预测模块等。——译者注 [2] 严格地讲，即便没有相关性，另一个数据值也可以大幅变化，只是没有趋势可循罢了。译者注 [3] 除了利用自有数据外，沃尔玛实验室开始尝试用Facebook好友喜好和Twitter流量与内容分析来实现智能零售。下载一个Facebook上名为shopycat的小应用，就能收到沃尔玛为你创建的礼品清单。——译者注 [4] Teradata的前身是著名的全美现金出纳机公司。——作者注 [5] 2011年，Reshef等人在《科学》上发表了题为“Detecting Novel Associations in LargeDatasets”一文，探讨了度量双变量复杂相关行为的新方法。截至目前，该方法还不能处理多变量相关。——译者注 [6] 评价自己不了解的学科，一定要谦虚谨慎，最好是不要做这样的评价。其实，目前的电子产业、纳米加工以及大部分先进的医疗技术都直接来源于量子理论。——译者注 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=60&limit=10)