--- schema_version: "library-reader-v1" source_type: "original_book" title: "大数据时代生活,工作与思维的大变革" author: null edition: null publisher: null year: null isbn: null library_document_id: "d2d6a388-f97f-4073-a039-12bd714e891b" source_sha256: "79dae3672ad907878bdd1c649a878229dd4334b470b632d1364ba523efc1a979" pdf_physical_page_count: 141 pdf_physical_page_index_base: 0 range_start: 20 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/d2d6a388-f97f-4073-a039-12bd714e891b?start=20&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/d2d6a388-f97f-4073-a039-12bd714e891b.md?start=20&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/d2d6a388-f97f-4073-a039-12bd714e891b.md?start=10&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/d2d6a388-f97f-4073-a039-12bd714e891b.md?start=30&limit=10" --- # 大数据时代生活,工作与思维的大变革 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=20 | PRINTED_PAGE=NOT_DETECTED [3] 这些都是传统数据库结构化查询语言（SQL）的要求，非关系型数据库（NoSQL）不再有这些要求。——译者注 ## PDF_PHYSICAL_PAGE_INDEX=21 | PRINTED_PAGE=NOT_DETECTED 大数据，开启重大的时代转型 大数据开启了一次重大的时代转型。与其他新技术一样，大数据也必然要经历硅谷臭名昭著的技术成熟度曲线[1]：经过新闻媒体和学术会议的大肆宣传之后，新技术趋势一下子跌到谷底，许多数据创业公司变得岌岌可危。当然，不管是过热期还是幻想破灭期，都非常不利于我们正确理解正在发生的变革的重要性。 就像望远镜能够让我们感受宇宙，显微镜能够让我们观测微生物，这种能够收集和分析海量数据的新技术将帮助我们更好地理解世界——这种理解世界的新方法我们现在才意识到。本书旨在如实表达出大数据的内涵，而不会过分热捧它。当然，真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据。 大数据先锋 天文学，信息爆炸的起源 只有考虑到社会各个方面的变化趋势，我们才能真正意识到信息爆炸已经到来。我们的数字世界一直在扩张。以天文学为例，2000年斯隆数字巡天（Sloan Digital Sky Survey）项目启动的时候，位于新墨西哥州的望远镜在短短几周内收集到的数据，已经比天文学历史上总共收集的数据还要多。到了2010年，信息档案已经高达1.4×242字节。不过，预计2016年在智利投入使用的大型视场全景巡天望远镜（Large Synoptic Survey Telescope）能在五天之内就获得同样多的信息。 天文学领域的变化在各个领域都在发生。2003年，人类第一次破译人体基因密码的时候，辛苦工作了十年才完成了三十亿对碱基对的排序。大约十年之后，世界范围内的基因仪每15分钟就可以完成同样的工作。在金融领域，美国股市每天的成交量高达70亿股，而其中三分之二的交易都是由建立在数学模型和算法之上的计算机程序自动完成的。这些程序运用海量数据来预测利益和降低风险。 互联网公司更是要被数据淹没了。谷歌公司每天要处理超过24拍字节[2]的数据，这意味着其每天的数据处理量是美国国家图书馆所有纸质出版物所含数据量的上千倍。Facebook这个创立时间不足十年的公司，每天更新的照片量超过1000万张，每天人们在网站上点击“喜欢”（Like）按钮或者写评论大约有三十亿次，这就为Facebook公司挖掘用户喜好提供了大量的数据线索。与此同时，谷歌子公司YouTube每月接待多达8亿的访客，平均每一秒钟就会有一段长度在一小时以上的视频上传。Twitter上的信息量几乎每年翻一番，截止到2012年，每天都会发布超过4亿条微博。 从科学研究到医疗保险，从银行业到互联网，各个不同的领域都在讲述着一个类似的故事，那就是爆发式增长的数据量。这种增长超过了我们创造机器的速度，甚至超过了我们的想象。 我们周围到底有多少数据？增长的速度有多快？许多人试图测量出一个确切的数字。尽管测量的对象和方法有所不同，但他们都获得了不同程度的成功。南加利福尼亚大学安嫩伯格通信学院的马丁·希尔伯特（Martin Hilbert）进行了一个比较全面的研究，他试图得出人类所创造、存储和传播的一切信息的确切数目。他的研究范围不仅包括书籍、图画、电子邮件、照片、音乐、视频（模拟和数字），还包括电子游戏、电话、汽车导航和信件。马丁·希尔伯特还以收视率和收听率为基础，对电视、电台这些广播媒体进行了研究。 ## PDF_PHYSICAL_PAGE_INDEX=22 | PRINTED_PAGE=NOT_DETECTED 大数据的力量 据他估算，2007年，人类大约存储了超过300艾字节[3]的数据。下面这个比喻应该可以帮助人们更容易地理解这意味着什么了。一部完整的数字电影可以压缩成一个GB的文件，而一个艾字节相当于10亿GB，一个泽字节[4]则相当于1024艾字节。总之，这是一个非常庞大的数量。 有趣的是，在2007年，所有数据中只有7%是存储在报纸、书籍、图片等媒介上的模拟数据[5]，其余全部是数字数据[6]。但在不久之前，情况却完全不是这样的。虽然1960年就有了“信息时代”和“数字村镇”的概念，但实际上，这些概念仍然是相当新颖的。甚至在2000年的时候，数字存储信息仍只占全球数据量的四分之一；当时，另外四分之三的信息都存储在报纸、胶片、黑胶唱片和盒式磁带这类媒介上。 早期数字信息的数量是不多的。对于长期在网上冲浪和购书的人来说，那只是一个微小的部分。事实上，在1986年的时候，世界上约40%的计算能力都被运用在袖珍计算器上，那时候，所有个人电脑的处理能力之和还没有所有袖珍计算器处理能力之和高。但是因为数字数据的快速增长，整个局势很快就颠倒过来了。按照希尔伯特的说法，数字数据的数量每三年多就会翻一倍。相反，模拟数据的数量则基本上没有增加。 大数据的力量 到2013年，世界上存储的数据预计能达到约1.2泽字节，其中非数字数据只占不到2%。 这样大的数据量意味着什么？如果把这些数据全部记在书中，这些书可以覆盖整个美国52次。如果将之存储在只读光盘上，这些光盘可以堆成五堆，每一堆都可以伸到月球。公元前3世纪，埃及的托勒密二世竭力收集了当时所有的书写作品，所以伟大的亚历山大图书馆可以代表世界上所有的知识量。[7]但当数字数据洪流席卷世界之后，每个地球人都可以获得大量数据信息，相当于当时亚历山大图书馆存储的数据总量的320倍之多。 事情真的在快速发展。人类存储信息量的增长速度比世界经济的增长速度快4倍，而计算机数据处理能力的增长速度则比世界经济的增长速度快9倍。难怪人们会抱怨信息过量，因为每个人都受到了这种极速发展的冲击。 把眼光放远一点，我们可以把时下的信息洪流与1439年前后古登堡发明印刷机[8]时造成的信息爆炸相对比。历史学家伊丽莎白·爱森斯坦（Elizabeth Eisenstein）发现，1453—1503年，这50年之间大约有800万本书籍被印刷，比1200年之前君士坦丁堡建立以来整个欧洲所有的手抄书还要多。换言之，欧洲的信息存储量花了50年才增长了一倍（当时的欧洲还占据了世界上相当部分的信息存储份额），而如今大约每三年就能增长一倍。 这种增长意味着什么呢？彼特·诺维格（Peter Norvig）是谷歌的人工智能专家，也曾任职于美国宇航局喷气推进实验室，他喜欢把这种增长与图画进行类比。首先，他要我们想想来自法国拉斯科洞穴壁画上的标志性的马。这些画可以追溯到一万七千年之前的旧石器时代。然后，想想一张马的照片，再想想毕加索的画也可以，看起来和那些洞穴壁画没有多大的差别。事实上，毕加索看到那些洞穴壁画的时候就曾开玩笑说：“自那以后，我们就再也没有创造出什么东西了。” 他的话既正确又不完全正确。你回想一下壁画上的那匹马。当时要画一幅马需要花费很久的时间，而现在不需要那么久了。这就是一种改变，虽然改变的可能不是最核心的部分——毕竟这仍然是一幅马的图像。但是诺维格说，想象一下，现在我们能每秒钟播放24幅不同形态的马的图片，这就是一种由量变导致的质变：一部电影与一幅静态的画有本质上的区别！大数据也一样，量变导致质变。物理学和生物学都告诉我们，当我们改变规模时，事物的状态有时也会发生改变。 ## PDF_PHYSICAL_PAGE_INDEX=23 | PRINTED_PAGE=NOT_DETECTED 我们就以纳米技术为例。纳米技术专注于把东西变小而不是变大。其原理就是当事物到达分子的级别时，它的物理性质就会发生改变。一旦你知道这些新的性质，你就可以用同样的原料来做以前无法做的事情。铜本来是用来导电的物质，但它一旦到达纳米级别就不能在磁场中导电了。银离子具有抗菌性，但当它以分子形式存在的时候，这种性质会消失。一旦到达纳米级别，金属可以变得柔软，陶土可以具有弹性。同样，当我们增加所利用的数据量时，我们就可以做很多在小数据量的基础上无法完成的事情。 有时候，我们认为约束我们生活的那些限制，对于世间万物都有着同样的约束力。事实上，尽管规律相同，但是我们能够感受到的约束，很可能只对我们这样尺度的事物起作用。对于人类来说，唯一一个最重要的物理定律便是万有引力定律。这个定律无时无刻不在控制着我们。但对于细小的昆虫来说，重力是无关紧要的。[9]对它们而言，物理宇宙中有效的约束是表面张力，这个张力可以让它们在水上自由行走而不会掉下去。但人类对于表面张力毫不在意。 对于万有引力产生的约束效果而言，生物体的大小是非常重要的。类似地，对于信息而言，规模也是非常重要的。谷歌能够几近完美地给出和基于大量真实病例信息所得到的流感情况一致的结果，而且几乎是实时的，比疾控中心快多了。同样，Farecast可以预测机票价格的波动，从而让消费者真正在经济上获利。它们之所以如此给力，都因为存在供其分析的数千亿计的数据项。 大数据洞察 大数据的科学价值和社会价值正是体现在这里。一方面，对大数据的掌握程度可以转化为经济价值的来源。另一方面，大数据已经撼动了世界的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。 尽管我们仍处于大数据时代来临的前夕，但我们的日常生活已经离不开它了。垃圾邮件过滤器可以自动过滤垃圾邮件，尽管它并不知道“发#票#销#售”是“发票销售”的一种变体。交友网站根据个人的性格与之前成功配对的情侣之间的关联来进行新的配对。具有“自动改正”功能的智能手机通过分析我们以前的输入，将个性化的新单词添加到手机词典里。然而，对于这些数据的利用还仅仅只是一个开始。从可以自动转弯和刹车的汽车，到IBM沃森超级电脑在游戏节目《危险边缘》（Jeopardy）中打败人类来看，这项技术终将改变我们所居住的星球上的许多东西。 [1] 技术成熟度曲线又叫技术循环曲线，或者直接叫做炒作周期，是指新技术、新概念在媒体上曝光度随时间的变化曲线。——译者注 [2] 拍字节，一般记作PB，等于250字节。——译者注 [3] 艾字节，一般记作EB，等于260字节。——译者注 [4] 泽字节，一般记作ZB，等于270字节。——译者注 [5] 模拟数据也称为模拟量，相对于数字量而言，指的是取值范围是连续的变量或者数值，例如声音、图像、温度、压力等。模拟数据一般采用模拟信号，例如用一系列连续变化的电磁 ## PDF_PHYSICAL_PAGE_INDEX=24 | PRINTED_PAGE=NOT_DETECTED 波或电压信号来表示。——译者注 [6] 数字数据也称为数字量，相对于模拟量而言，指的是取值范围是离散的变量或者数值。数字数据则采用数字信号，例如用一系列断续变化的电压脉冲（如用恒定的正电压表示二进制数1，用恒定的负电压表示二进制数0）或光脉冲来表示。——译者注 [7] 亚历山大图书馆藏书丰富，有据可考的超过50000卷（纸草卷），包括《荷马史诗》、《几何原本》等。亚历山大图书馆建成之时正是中国战国时代的末期，此时百家争鸣，较有影响的十大家（儒、道、墨、法、名、阴阳、纵横、杂、农、小说）多有著述，且已出现如《诗经》、《楚辞》、《离骚》等文学作品，虽没有像亚历山大图书馆一样的集中式藏书中心，但也占据了世界知识量的相当份额。——译者注 [8] 据《中国出版史》记载，中国的毕昇早在11世纪40年代就发明了泥活字印刷，远远早于古登堡15世纪30年代发明的铅活字。——编者注 [9] 这是一个美妙有趣的例子，但是对于学习物理的人来说总是有些怪异。显然，万有引力一如既往起着作用，不过是因为空气阻力在不同密度和体积的物体上产生了不同的效果。如果把蟑螂从真空环境的高楼往下扔，恐怕也是凶多吉少。——译者注 ## PDF_PHYSICAL_PAGE_INDEX=25 | PRINTED_PAGE=NOT_DETECTED 预测，大数据的核心 大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。但是这种定义是有误导性的。大数据不是要教机器像人一样思考。相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。一封邮件被作为垃圾邮件过滤掉的可能性，输入的“teh”应该是“the”的可能性，从一个人乱穿马路时行进的轨迹和速度来看他能及时穿过马路的可能性，都是大数据可以预测的范围。当然，如果一个人能及时穿过马路，那么他乱穿马路时，车子就只需要稍稍减速就好。这些预测系统之所以能够成功，关键在于它们是建立在海量数据的基础之上的。此外，随着系统接收到的数据越来越多，它们可以聪明到自动搜索最好的信号和模式，并自己改善自己。[1] 在不久的将来，世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代。计算机系统可以发挥作用的领域远远不止驾驶和交友，还有更多更复杂的任务。别忘了，亚马逊可以帮我们推荐想要的书，谷歌可以为关联网站排序，Facebook知道我们的喜好，而LinkedIn可以猜出我们认识谁。[2]当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。 就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉，而更多的改变正蓄势待发。 [1] 系统可以通过一种“反馈学习”的机制，利用自己产生的数据判断自身算法和参数选择的有效性，并实时进行调整，持续改进自身的表现。——译者注 [2] 这些任务都和个性化技术相关，包括个性化排序和个性化推荐。个性化技术是大数据时代最重要的技术，这里向专业读者推荐吕琳媛等人2012年在《Physics Reports》上发表的名为“Recommender Systems”的综述。——译者注 ## PDF_PHYSICAL_PAGE_INDEX=26 | PRINTED_PAGE=NOT_DETECTED 大数据，大挑战 大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法。 第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。这部分内容将在第1章阐述。19世纪以来，当面临大量数据时，社会都依赖于采样分析。但是采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物。以前我们通常把这看成是理所当然的限制，但高性能数字技术的流行让我们意识到，这其实是一种人为的限制。与局限在小数据范围相比，使用一切数据为我们带来了更高的精确性，也让我们看到了一些以前无法发现的细节——大数据让我们更清楚地看到了样本无法揭示的细节信息。 第二个改变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。这部分内容将在第2章阐述。当我们测量事物的能力受限时，关注最重要的事情和获取最精确的结果是可取的。如果购买者不知道牛群里有80头牛还是100头牛，那么交易就无法进行。直到今天，我们的数字技术依然建立在精准的基础上。我们假设只要电子数据表格把数据排序，数据库引擎就可以找出和我们检索的内容完全一致的检索记录。 这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以我们必须尽可能精准地量化我们的记录。在某些方面，我们已经意识到了差别。例如，一个小商店在晚上打烊的时候要把收银台里的每分钱都数清楚，但是我们不会、也不可能用“分”这个单位去精确度量国民生产总值。随着规模的扩大，对精确度的痴迷将减弱。 达到精确需要有专业的数据库。针对小数据量和特定事情，追求精确性依然是可行的，比如一个人的银行账户上是否有足够的钱开具支票。但是，在这个大数据时代，很多时候，追求精确度已经变得不可行，甚至不受欢迎了。当我们拥有海量即时数据时，绝对的精准不再是我们追求的主要目标。 大数据纷繁多样，优劣掺杂，分布在全球多个服务器上。拥有了大数据，我们不再需要对一个现象刨根究底，只要掌握大体的发展方向即可。当然，我们也不是完全放弃了精确度，只是不再沉迷于此。适当忽略微观层面上的精确度会让我们在宏观层面拥有更好的洞察力。 第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。这部分内容将在第3章阐述。寻找因果关系是人类长久以来的习惯。即使确定因果关系很困难而且用途不大，人类还是习惯性地寻找缘由。相反，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系，这会给我们提供非常新颖且有价值的观点。相关关系也许不能准确地告知我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。在许多情况下，这种提醒的帮助已经足够大了。 如果数百万条电子医疗记录显示橙汁和阿司匹林的特定组合可以治疗癌症，那么找出具体的药理机制就没有这种治疗方法本身来得重要。同样，只要我们知道什么时候是买机票的最佳时机，就算不知道机票价格疯狂变动的原因也无所谓了。大数据告诉我们“是什么”而不是“为什么”。在大数据时代，我们不必知道现象背后的原因，我们只要让数据自己发声。 我们不再需要在还没有收集数据之前，就把我们的分析建立在早已设立的少量假设的基础之上。让数据发声，我们会注意到很多以前从来没有意识到的联系的存在。 ## PDF_PHYSICAL_PAGE_INDEX=27 | PRINTED_PAGE=NOT_DETECTED 例如，对冲基金通过剖析社交网络Twitter上的数据信息来预测股市的表现；亚马逊和奈飞（Netflix）[1]根据用户在其网站上的类似查询来进行产品推荐；Twitter，Facebook和LinkedIn通过用户的社交网络图来得知用户的喜好。 当然，人类从数千年前就开始分析数据。古代美索不达米亚平原的记账人员为了有效地跟踪记录信息发明了书写。自从圣经时代开始，政府就通过进行人口普查来建立大型的国民数据库。两百多年来，精算师们也一直通过搜集大量的数据来进行风险规避。 模拟时代的数据收集和分析极其耗时耗力，新问题的出现通常要求我们重新收集和分析数据。数字化的到来使得数据管理效率又向前迈出了重要的一步。数字化将模拟数据转换成计算机可以读取的数字数据，使得存储和处理这些数据变得既便宜又容易，从而大大提高了数据管理效率。过去需要几年时间才能完成的数据搜集，现在只要几天就能完成。但是，光有改变还远远不够。数据分析者太沉浸于模拟数据时代的设想，即数据库只有单一的用途和价值，而正是我们使用的技术和方法加深了这种偏见。虽然数字化是促成向大数据转变的重要原因，但仅有计算机的存在却不足以实现大数据。 我们没有办法准确描述现在正在发生的一切，但是在第4章将提到的“数据化”概念可以帮助我们大致了解这次变革。数据化意味着我们要从一切太阳底下的事物中汲取信息，甚至包括很多我们以前认为和“信息”根本搭不上边的事情。比方说，一个人所在的位置、引擎的振动、桥梁的承重等。我们要通过量化的方法把这些内容转化为数据。这就使得我们可以尝试许多以前无法做到的事情，如根据引擎的散热和振动来预测引擎是否会出现故障。这样，我们就激发出了这些数据此前未被挖掘的潜在价值。 大数据时代开启了一场寻宝游戏，而人们对于数据的看法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度，正是主宰这场游戏的关键。新兴技术工具的使用使这一切成为可能。宝贝不止一件，每个数据集内部都隐藏着某些未被发掘的价值。这场发掘和利用数据价值的竞赛正开始在全球上演。 第5章和第6章将讲述大数据如何改变了商业、市场和社会的本质。20世纪，价值已经从实体基建转变为无形财产，从土地和工厂转变为品牌和产权。如今，一个新的转变正在进行，那就是电脑存储和分析数据的方法取代电脑硬件成为了价值的源泉。数据成为了有价值的公司资产、重要的经济投入和新型商业模式的基石。虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题。 虽然有些数据处理技术已经出现了一段时间，但是它们只为调查局、研究所和世界上的一些巨头公司所掌握。沃尔玛和美国第一资本银行（CapitalOne）率先将大数据运用在了零售业和银行业，因此改变了整个行业。如今这些技术大多都实现了大众化。 大数据对个人的影响是最惊人的。在一个可能性和相关性占主导地位的世界里，专业性变得不那么重要了。行业专家不会消失，但是他们必须与数据表达的信息进行博弈。如同在电影《点球成金》（Moneyball）里，棒球星探们在统计学家面前相形见绌——直觉的判断被迫让位于精准的数据分析。这将迫使人们调整在管理、决策、人力资源和教育方面的传统理念。 我们大部分的习俗和惯例都建立在一个预设好的立场上，那就是我们用来进行决策的信息必须是少量、精确并且至关重要的。但是，当数据量变大、数据处理速度加快，而且数据变得不那么精确时，之前的那些预设立场就不复存在了。此外，因为数据量极为庞大，最后做出决策的将是机器而不是人类自己。第7章将会讨论大数据的负面影响。 ## PDF_PHYSICAL_PAGE_INDEX=28 | PRINTED_PAGE=NOT_DETECTED 在了解和监视人类的行为方面，社会已经有了数千年的经验。但是，如何来监管一个算法系统呢？在信息化时代的早期，有一些政策专家就看到了信息化给人们的隐私权带来的威胁，社会也已经建立起了庞大的规则体系来保障个人的信息安全。但是在大数据时代，这些规则都成了无用的马其诺防线[2]。人们自愿在网络上分享信息，而这种分享的能力成为了网络服务的一个中心特征，而不再是一个需要规避的薄弱点了。 对我们而言，危险不再是隐私的泄露，而是被预知的可能性——这些能预测我们可能生病、拖欠还款和犯罪的算法会让我们无法购买保险、无法贷款、甚至在实施犯罪前就被预先逮捕。显然，统计把大数据放在了首位，但即便如此，个人意志是否应该凌驾于大数据之上呢？就像出版印刷行业的发展推动国家立法保护言论自由（在此之前没有出台类似法律的必要，因为没有太多的言论需要保护），大数据时代也需要新的规章制度来保卫权势面前的个人权利。 政府机构和社会在控制和处理数据的方法上必须有全方位的改变。不可否认，我们进入了一个用数据进行预测的时代，虽然我们可能无法解释其背后的原因。如果一个医生只要求病人遵从医嘱，却没法说明医学干预的合理性的话，情况会怎么样呢？实际上，这是依靠大数据取得病理分析的医生们一定会做的事情。还有司法系统的“合理证据”是不是应该改为“可能证据”呢？如果真是这样，会对人类自由和尊严产生什么影响呢？ 我们在大数据时代倡导的一系列规范将在第8章进行介绍。这些规范建立在我们很熟悉的“小数据”时代发展并保留下来的规范的基础之上。新环境要求旧规范与时俱进。 大数据洞察 大数据给社会带来的益处将是多方面的。因为大数据已经成为解决紧迫世界性问题，如抑制全球变暖、消除疾病、提高执政能力和发展经济的一个有力武器。但是大数据时代也向我们提出了挑战，我们需要做好充足的准备迎接大数据技术给我们的机构和自身带来的改变。 大数据标志着人类在寻求量化和认识世界的道路上前进了一大步。过去不可计量、存储、分析和共享的很多东西都被数据化了。拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。社会因此放弃了寻找因果关系的传统偏好，开始挖掘相关关系的好处。 寻找原因是一种现代社会的一神论，大数据推翻了这个论断。但我们又陷入了一个历史的困境，那就是我们活在一个“上帝已死”的时代。也就是说，我们曾经坚守的信念动摇了。讽刺的是，这些信念正在被“更好”的证据所取代。那么，从经验中得来的与证据相矛盾的直觉、信念和迷惘应该充当什么角色呢？当世界由探求因果关系变成挖掘相关关系，我们怎样才能既不损坏建立在因果推理基础之上的社会繁荣和人类前行的基石，又取得实际的进步呢？本书意在解释我们身在何处，我们从何而来，并且提供当下亟需的指导，以应对眼前的利益和危险。 [1] Netflix，也常译作网狸公司。——译者注 [2] 马奇诺防线是法国在第一次世界大战后，为防德军入侵而在其东北边境地区构筑的筑垒配系，以其陆军部长姓氏命名。1940年5月至6月，德国主力通过阿登山脉，从马奇诺防线左翼迂回，进抵马奇诺防线的后方，使防线丧失了作用。“马奇诺防线”现在用来意指看似表面坚固，实际毫无价值的东西。——译者注 ## PDF_PHYSICAL_PAGE_INDEX=29 | PRINTED_PAGE=NOT_DETECTED 第一部分大数据时代的思维变革 01更多：不是随机样本，而是全体数据 当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本=总体”。 【大数据先锋】 穿孔卡片与美国人口普查 大数据与乔布斯的癌症治疗 Xoom与跨境汇款异常交易报警 巴拉巴西与第一次全社会层面的网络分析 让数据“发声” “大数据”全在于发现和理解信息内容及信息与信息之间的关系，然而直到最近，我们对此似乎还是难以把握。IBM的资深“大数据”专家杰夫·乔纳斯（JeffJonas）提出要让数据“说话”。从某种层面上来说，这听起来很平常。人们使用数据已经有相当长一段时间了，无论是日常进行的大量非正式观察，还是过去几个世纪里在专业层面上用高级算法进行的量化研究，都与数据有关。 在数字化时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的数据。但当我们谈论能“说话”的数据时，我们指的远远不止这些。 实际上，大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作用的。 ●首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。 ●其次，我们乐于接受数据的纷繁复杂，而不再追求精确性。 ●最后，我们的思想发生了转变，不再探求难以捉摸的因果关系，转而关注事物的相关关系。 本章就将介绍第一个转变：利用所有的数据，而不再仅仅依靠一小部分数据。 很长一段时间以来，准确分析大量数据对我们而言都是一种挑战。过去，因为记录、储存和分析数据的工具不够好，我们只能收集少量数据进行分析，这让我们一度很苦恼。为了让分析变得简单，我们会把数据量缩减到最少。这是一种无意识的自省：我们把与数据交流的困难看成是自然的，而没有意识到这只是当时技术条件下的一种人为的限制。如今，技术条件已经有了非常大的提高，虽然人类可以处理的数据依然是有限的，也永远是有限的，但是我们可以处理的数据量已经大大地增加，而且未来会越来越多。 在某些方面，我们依然没有完全意识到自己拥有了能够收集和处理更大规模数据的能力。我们还是在信息匮乏的假设下做很多事情，建立很多机构组织。我们假定自己只能收集到少量信息，结果就真的如此了。这是一个自我实现的过程。我们甚至发展了一些使用尽可能少的信息的技术。别忘了，统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。事实上，我们形成了一种习惯，那就是在我们的制度、处理过程和激励机制中尽可能地减少数据的使用。为了理解大数据时代的转变意味着什么，我们需要首先回顾一下过去。 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/d2d6a388-f97f-4073-a039-12bd714e891b.md?start=30&limit=10)