--- schema_version: "library-reader-v1" source_type: "original_book" title: "大数据时代生活,工作与思维的大变革" author: null edition: null publisher: null year: null isbn: null library_document_id: "4e51e488-5704-438f-b921-0a77b3af1e73" source_sha256: "ee827419b671537936a1ca3e5a0d9b2b119b358e751ef2c5850e59fbd150cc76" pdf_physical_page_count: 141 pdf_physical_page_index_base: 0 range_start: 30 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73?start=30&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=30&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=20&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=40&limit=10" --- # 大数据时代生活,工作与思维的大变革 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=30 | PRINTED_PAGE=NOT_DETECTED 小数据时代的随机采样，最少的数据获得最多的信息 直到最近，私人企业和个人才拥有了大规模收集和分类数据的能力。在过去，这是只有教会或者政府才能做到的。当然，在很多国家，教会和政府是等同的。有记载的、最早的计数发生在公元前8000年的，当时苏美尔的商人用黏土珠来记录出售的商品。大规模的计数则是政府的事情。数千年来，政府都试图通过收集信息来管理国民。 以人口普查为例。据说古代埃及曾进行过人口普查，《旧约》和《新约》中对此都有所提及。那次由奥古斯都恺撒主导实施的人口普查，提出了“每个人都必须纳税”，这使得约瑟夫和玛丽搬到了耶稣的出生地伯利恒。1086年的《末日审判书》（The Doomsday Book）对当时英国的人口、土地和财产做了一个前所未有的全面记载。皇家委员穿越整个国家对每个人、每件事都做了记载，后来这本书用《圣经》中的《末日审判书》命名，因为每个人的生活都被赤裸裸地记载下来的过程就像接受“最后的审判”一样。 然而，人口普查是一项耗资且费时的事情。国王威廉一世（King William I）在他发起的《末日审判书》完成之前就去世了。但是，除非放弃收集信息，否则在当时没有其他办法。尽管如此，当时收集的信息也只是一个大概情况，实施人口普查的人也知道他们不可能准确记录下每个人的信息。实际上，“人口普查”这个词来源于拉丁语的“censere”，意思就是推测、估算。 三百多年前，一个名叫约翰·格朗特（John Graunt）[1]的英国缝纫用品商提出了一个很有新意的方法。他采用了一个新方法推算出鼠疫时期伦敦的人口数，这种方法就是后来的统计学。这个方法不需要一个人一个人地计算。虽然这个方法比较粗糙，但采用这个方法，人们可以利用少量有用的样本信息来获取人口的整体情况。 虽然后来证实他能够得出正确的数据仅仅是因为运气好，但在当时他的方法大受欢迎。样本分析法一直都有较大的漏洞，因此无论是进行人口普查还是其他大数据类的任务，人们还是一直使用一一清点这种“野蛮”的方法。 考虑到人口普查的复杂性以及耗时耗费的特点，政府极少进行普查。古罗马在拥有数十万人口的时候每5年普查一次。美国宪法规定每10年进行一次人口普查，而随着国家人口越来越多，只能以百万计数。但是到19世纪为止，即使这样不频繁的人口普查依然很困难，因为数据变化的速度超过了人口普查局统计分析的能力。 大数据先锋 穿孔卡片与美国人口普查 美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。即使不考虑这种情况违反了宪法规定，它也是很荒谬的。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，所以必须要得到正确的数据，而且必须是及时的数据。 ## PDF_PHYSICAL_PAGE_INDEX=31 | PRINTED_PAGE=NOT_DETECTED 美国人口普查局面临的问题与当代商人和科学家遇到的问题很相似。很明显，当他们被数据淹没的时候，已有的数据处理工具已经难以应付了，所以就需要有更多的新技术。 后来，美国人口普查局就和当时的美国发明家赫尔曼·霍尔瑞斯（Herman Hollerith）签订了一个协议，用他的穿孔卡片制表机来完成1890年的人口普查。 经过大量的努力，霍尔瑞斯成功地在1年时间内完成了人口普查的数据汇总工作。这简直就是一个奇迹，它标志着自动处理数据的开端，也为后来IBM公司的成立奠定了基础。但是，将其作为收集处理大数据的方法依然过于昂贵。毕竟，每个美国人都必须填一张可制成穿孔卡片的表格，然后再进行统计。这么麻烦的情况下，很难想象如果不足十年就要进行一次人口普查应该怎么办。但是，对于一个跨越式发展的国家而言，十年一次的人口普查的滞后性已经让普查失去了大部分意义。 这就是问题所在，是利用所有的数据还是仅仅采用一部分呢？最明智的自然是得到有关被分析事物的所有数据，但是当数量无比庞大时，这又不太现实。那如何选择样本呢？有人提出有目的地选择最具代表性的样本是最恰当的方法。1934年，波兰统计学家耶日·奈曼（JerzyNeyman）指出，这只会导致更多更大的漏洞。事实证明，问题的关键是选择样本时的随机性。[2] 统计学家们证明：采样分析的精确性随着采样随机性的增加而大幅提高，但与样本数量的增加关系不大。虽然听起来很不可思议，但事实上，一个对1100人进行的关于“是否”问题的抽样调查有着很高的精确性，精确度甚至超过了对所有人进行调查时的97%[3]。这是真的，不管是调查10万人还是1亿人，20次调查里有19次都能猜对。为什么会这样？原因很复杂，但是有一个比较简单的解释就是，当样本数量达到了某个值之后，我们从新个体身上得到的信息会越来越少，就如同经济学中的边际效应递减一样。 认为样本选择的随机性比样本数量更重要，这种观点是非常有见地的。这种观点为我们开辟了一条收集信息的新道路。通过收集随机样本，我们可以用较少的花费做出高精准度的推断。因此，政府每年都可以用随机采样的方法进行小规模的人口普查，而不是只能每十年进行一次。事实上，政府也这样做了。例如，除了十年一次的人口大普查，美国人口普查局每年都会用随机采样的方法对经济和人口进行200多次小规模的调查。当收集和分析数据都不容易时，随机采样就成为应对信息采集困难的办法。 很快，随机采样就不仅应用于公共部门和人口普查了。在商业领域，随机采样被用来监管商品质量。这使得监管商品质量和提升商品品质变得更容易，花费也更少。以前，全面的质量监管要求对生产出来的每个产品进行检查，而现在只需从一批商品中随机抽取部分样品进行检查就可以了。本质上来说，随机采样让大数据问题变得更加切实可行。同理，它将客户调查引进了零售行业，将焦点讨论引进了政治界，也将许多人文问题变成了社会科学问题。 随机采样取得了巨大的成功，成为现代社会、现代测量领域的主心骨。但这只是一条捷径，是在不可收集和分析全部数据的情况下的选择，它本身存在许多固有的缺陷。[4]它的成功依赖于采样的绝对随机性，但是实现采样的随机性非常困难。一旦采样过程中存在任何偏见，分析结果就会相去甚远。 最近，以固定电话用户为基础进行投票民调就面临了这样的问题，采样缺乏随机性，因为没有考虑到只使用移动电话的用户——这些用户一般更年轻和更热爱自由。没有考虑到这些用户，自然就得不到正确的预测。2008年在奥巴马与麦凯恩之间进行的美国总统大选中，盖洛普咨询公司、皮尤研究中心（Pew）、美国广播公司和《华盛顿邮报》社这些主要的民调组织都发现，如果他们不把移动用户考虑进来，民意测试结果就会出现三个点的偏差，而一旦考虑进 ## PDF_PHYSICAL_PAGE_INDEX=32 | PRINTED_PAGE=NOT_DETECTED 来，偏差就只有一个点。鉴于这次大选的票数差距极其微弱，这已经是非常大的偏差了。 更糟糕的是，随机采样不适合考察子类别的情况。因为一旦继续细分，随机采样结果的错误率会大大增加。这很容易理解。倘若你有一份随机采样的调查结果，是关于1000个人在下一次竞选中的投票意向。如果采样时足够随机，这份调查的结果就有可能在3%的误差范围内显示全民的意向。但是如果这个3%左右的误差本来就是不确定的，却又把这个调查结果根据性别、地域和收入进行细分，结果是不是越来越不准确呢？用这些细分过后的结果来表现全民的意愿，是否合适呢？ 你设想一下，一个对1000个人进行的调查，如果要细分到“东北部的富裕女性”，调查的人数就远远少于1000人了。即使是完全随机的调查，倘若只用了几十个人来预测整个东北部富裕女性选民的意愿，还是不可能得到精确结果啊！而且，一旦采样过程中存在任何偏见，在细分领域所做的预测就会大错特错。 因此，当人们想了解更深层次的细分领域的情况时，随机采样的方法就不可取了。在宏观领域起作用的方法在微观领域失去了作用。随机采样就像是模拟照片打印，远看很不错，但是一旦聚焦某个点，就会变得模糊不清。 随机采样也需要严密的安排和执行。人们只能从采样数据中得出事先设计好的问题的结果千万不要奢求采样的数据还能回答你突然意识到的问题。所以虽说随机采样是一条捷径，但它也只是一条捷径。随机采样方法并不适用于一切情况，因为这种调查结果缺乏延展性，即调查得出的数据不可以重新分析以实现计划之外的目的。 我们来看一下DNA分析。由于技术成本大幅下跌以及在医学方面的广阔前景，个人基因排序成为了一门新兴产业。2012年，基因组解码的价格跌破1000美元，这也是非正式的行业平均水平。从2007年起，硅谷的新兴科技公司23andme就开始分析人类基因，价格仅为几百美元。这可以揭示出人类遗传密码中一些会导致其对某些疾病抵抗力差的特征，如乳腺癌和心脏病。23andme希望能通过整合顾客的DNA和健康信息，了解到用其他方式不能获取的新信息。 公司对某人的一小部分DNA进行排序，标注出几十个特定的基因缺陷。这只是该人整个基因密码的样本，还有几十亿个基因碱基对未排序。最后，23andme只能回答其标注过的基因组表现出来的问题。发现新标注时，该人的DNA必须重新排序，更准确地说，是相关的部分必须重新排列。只研究样本而不是整体，有利有弊：能更快更容易地发现问题，但不能回答事先未考虑到的问题。 大数据先锋 大数据与乔布斯的癌症治疗 苹果公司的传奇总裁史蒂夫·乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用，这是23andme报价的几百倍之多。所以，他得到的不是一个只有一系列标记的样本，他得到了包括整个基因密码的数据文档。 对于一个普通的癌症患者，医生只能期望她的DNA排列同试验中使用的样本足够相似。但是，史蒂夫·乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用药。如果癌症病变导致药物失效，医生可以及时更换另一种药，也就是乔布斯所说的，“从一片睡莲叶跳到另一片上。”乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”虽然他的愿望都没有实现，但是这种获得所有数据而不仅是样本的方法还是将他的生命延长了好几年。 ## PDF_PHYSICAL_PAGE_INDEX=33 | PRINTED_PAGE=NOT_DETECTED 全数据模式，样本=总体 在信息处理能力受限的时代，世界需要数据分析，却缺少用来分析所收集数据的工具，因此随机采样应运而生，它也可以被视为那个时代的产物。如今，计算和制表不再像过去一样困难。感应器、手机导航、网站点击和Twitter被动地收集了大量数据，而计算机可以轻易地对这些数据进行处理。 采样的目的就是用最少的数据得到最多的信息。当我们可以获得海量数据的时候，它就没有什么意义了。数据处理技术已经发生了翻天覆地的改变，但我们的方法和思维却没有跟上这种改变。 采样一直有一个被我们广泛承认却又总有意避开的缺陷，现在这个缺陷越来越难以忽视了。采样忽视了细节考察。虽然我们别无选择，只能利用采样分析法来进行考察，但是在很多领域，从收集部分数据到收集尽可能多的数据的转变已经发生了。如果可能的话，我们会收集所有的数据，即“样本=总体”。 正如我们所看到的，“样本=总体”是指我们能对数据进行深度探讨，而采样几乎无法达到这样的效果。上面提到的有关采样的例子证明，用采样的方法分析整个人口的情况，正确率可达97%。对于某些事物来说，3%的错误率是可以接受的。但是你无法得到一些微观细节的信息，甚至还会失去对某些特定子类别进行进一步研究的能力。我们不能满足于正态分布一般中庸平凡的景象。生活中真正有趣的事情经常藏匿在细节之中，而采样分析法却无法捕捉到这些细节。 谷歌流感趋势预测并不是依赖于对随机样本的分析，而是分析了整个美国几十亿条互联网检索记录。分析整个数据库，而不是对一个小样本进行分析，能够提高微观层面分析的准确性，甚至能够推测出某个特定城市的流感状况，而不只是一个州或是整个国家的情况。Farecast的初始系统使用的样本包含12000个数据，所以取得了不错的预测结果。随着奥伦·埃齐奥尼不断添加更多的数据，预测的结果越来越准确。最终，Farecast使用了每一条航线整整一年的价格数据来进行预测。埃齐奥尼说：“这只是一个暂时性的数据，随着你收集的数据越来越多，你的预测结果会越来越准确。” 所以，我们现在经常会放弃样本分析这条捷径，选择收集全面而完整的数据。我们需要足够的数据处理和存储能力，也需要最先进的分析技术。同时，简单廉价的数据收集方法也很重要。过去，这些问题中的任何一个都很棘手。在一个资源有限的时代，要解决这些问题需要付出很高的代价。但是现在，解决这些难题已经变得简单容易得多。曾经只有大公司才能做到的事情，现在绝大部分的公司都可以做到了。 通过使用所有的数据，我们可以发现如若不然则将会在大量数据中淹没掉的情况。例如，信用卡诈骗是通过观察异常情况来识别的，只有掌握了所有的数据才能做到这一点。在这种情况下，异常值是最有用的信息，你可以把它与正常交易情况进行对比。这是一个大数据问题。而且，因为交易是即时的，所以你的数据分析也应该是即时的。 大数据先锋 Xoom与跨境汇款异常交易报警 ## PDF_PHYSICAL_PAGE_INDEX=34 | PRINTED_PAGE=NOT_DETECTED Xoom是一个专门从事跨境汇款业务的公司，它得到了很多拥有大数据的大公司的支持。它会分析一笔交易的所有相关数据。2011年，它注意到用“发现卡”从新泽西州汇款的交易量比正常情况多一些，系统于是启动报警。Xoom公司的首席执行官约翰·孔泽（John Kunze）解释说：“这个系统关注的是不应该出现的情况。”单独来看，每笔交易都是合法的，但是事实证明这是一个犯罪集团在试图诈骗。而发现异常的唯一方法就是，重新检查所有的数据，找出样本分析法错过的信息。 然而，使用所有的数据并不代表这是一项艰巨的任务。大数据中的“大”不是绝对意义上的大，虽然在大多数情况下是这个意思。谷歌流感趋势预测建立在数亿的数学模型上，而它们又建立在数十亿数据节点的基础之上。完整的人体基因组有约30亿个碱基对。但这只是单纯的数据节点的绝对数量，并不代表它们就是大数据。大数据是指不用随机分析法这样的捷径，而采用所有数据的方法。谷歌流感趋势和乔布斯的医生们采取的就是大数据的方法。 日本国民体育运动“相扑”中非法操纵比赛结果的发现过程，就恰到好处地说明了使用“样本=总体”这种全数据模式的重要性。消极比赛一直被极力禁止，备受谴责，很多运动员深受困扰。芝加哥大学的一位很有前途的经济学家斯蒂夫·列维特（Steven Levitt），在《美国经济评论》上发表了一篇研究论文，其中提到了一种发现这种情况的方法：查看运动员过去所有的比赛资料。他的畅销书《魔鬼经济学》（Freakonomics）中也提到了这个观点，他认为检查所有的数据是非常有价值的。 列维特和他的同事马克·达根（Mark Duggan）使用了11年中超过64000场摔跤比赛的记录，来寻找异常性。他们获得了重大的发现。非法操纵比赛结果的情况确实时有发生，但是不会出现在大家很关注的比赛上。冠军赛也有可能被操纵，但是数据显示消极比赛主要还是出现在不太被关注的联赛的后几场中。这时基本上没有什么风险，因为很多选手根本就没有获奖的希望。 相扑比赛的一个比较特殊的地方是，选手需要在15场赛事中的大部分场次取得胜利才能保持排名和收入。这样一来就会出现利益不对称的问题。当一名7胜7负的摔跤手碰到一个8胜6负的对手时，比赛结果对第一个选手来说极其重要，对他的对手而言则没有那么重要。列维特和达根发现，在这样的情况下，需要赢的那个选手很可能会赢。这看起来像是对手送的“礼物”，因为在联系紧密的相扑界，帮别人一把就是给自己留了一条后路。 有没有可能是要赢的决心帮助这个选手获胜呢？答案是，有可能。但是数据显示的情况是，需要赢的选手的求胜心也只能把胜率提高25%。所以，把胜利完全归功于求胜心是不妥当的。对数据进行进一步分析可能会发现，与他们在先前比赛中的表现相比，当他们再相遇时，上次失利的一方要拥有比对方更高的胜率。因为在相扑界，你的付出总会有所“回报”，所以第一次的胜利看上去更像是一名选手送给另一名选手的礼物。 这个情况是显而易见的。但是如果采用随机采样分析法，就无法发现这个情况。而大数据分析通过使用所有比赛的极大数据捕捉到了这个情况。这就像捕鱼一样，开始时你不知道是否能捕到鱼，也不知道会捕到什么鱼。 一个数据库并不需要有以太字节[5]计的数据。在这个相扑案例中，整个数据库包含的字节量还不如一张普通的数码照片包含得多。但是大数据分析法不只关注一个随机的样本。这里的“大”取的是相对意义而不是绝对意义，也就是说这是相对所有数据来说的。 很长一段时间内，随机采样都是一条好的捷径，它使得数字时代之前的大量数据分析变得可能。但就像把一张数码照片或者一首数码歌曲截取成多个小文件似的，在采样分析的时候，很多信息就丢失了——你能欣赏一首歌的抽样吗？拥有全部或几乎全部的数据，我们就能够从不同的角度，更细致地观察和研究数据的方方面面。 ## PDF_PHYSICAL_PAGE_INDEX=35 | PRINTED_PAGE=NOT_DETECTED 我们可以用Lytro相机来打一个恰当的比方。Lytro相机是具有革新性的，因为它把大数据运用到了基本的摄影中。与传统相机只可以记录一束光不同，Lytro相机可以记录整个光场里所有的光，达到1100万束之多。具体生成什么样的照片则可以在拍摄之后再根据需要决定。用户没必要在一开始就聚焦，因为该相机可以捕捉到所有的数据，所以之后可以选择聚焦图像中的任一点。整个光场的光束都被记录了，也就是收集了所有的数据，“样本=总体”。因此，与普通照片相比，这些照片就更具“可循环利用性”。如果使用普通相机，摄影师就必须在拍照之前决定好聚焦点。 同理，因为大数据是建立在掌握所有数据，至少是尽可能多的数据的基础上的，所以我们就可以正确地考察细节并进行新的分析。在任何细微的层面，我们都可以用大数据去论证新的假设。是大数据让我们发现了相扑中的非法操纵比赛结果、流感的传播区域和对抗癌症需要针对的那部分DNA。它让我们能清楚分析微观层面的情况。 当然，有些时候，我们还是可以使用样本分析法，毕竟我们仍然活在一个资源有限的时代。但是更多时候，利用手中掌握的所有数据成为了最好也是可行的选择。 社会科学是被“样本=总体”撼动得最厉害的学科。随着大数据分析取代了样本分析，社会科学不再单纯依赖于分析实证数据。这门学科过去曾非常依赖样本分析、研究和调查问卷。当记录下来的是人们的平常状态，也就不用担心在做研究和调查问卷时存在的偏见[6]了。现在，我们可以收集过去无法收集到的信息，不管是通过移动电话表现出的关系，还是通过Twitter信息表现出的感情。更重要的是，我们现在也不再依赖抽样调查了。 艾伯特-拉斯洛·巴拉巴西（Albert-László Barabási）[7]，和他的同事想研究人与人之间的互动。于是他们调查了四个月内所有的移动通信记录——当然是匿名的，这些记录是一个为全美五分之一人口提供服务的无线运营商提供的。这是第一次在全社会层面用接近于“样本=总体”的数据资料进行网络分析。通过观察数百万人的所有通信记录，我们可以产生也许通过任何其他方式都无法产生的新观点。 有趣的是，与小规模的研究相比，这个团队发现，如果把一个在社区内有很多连接关系的人从社区关系网中剔除掉，这个关系网会变得没那么高效但却不会解体；但如果把一个与所在社区之外的很多人有着连接关系的人从这个关系网中剔除，整个关系网很快就会破碎成很多小块。[8]这个研究结果非常重要也非常得出人意料。谁能想象一个在关系网内有着众多好友的人的重要性还不如一个只是与很多关系网外的人有联系的人呢？[9]这说明一般来说无论是针对一个小团体还是整个社会，多样性是有额外价值的。这个结果促使我们重新审视一个人在社会关系网中的存在价值。 大数据洞察 我们总是习惯把统计抽样看做文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史尚不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。慢慢地，我们会完全抛弃样本分析。 ## PDF_PHYSICAL_PAGE_INDEX=36 | PRINTED_PAGE=NOT_DETECTED [1] 约翰·格朗特的尝试可以参见他闻名世界的著作Natural and Political Observations Madeupon the Bills of Mortality。尽管他并未真正给出一种有效的办法来推断疾病流行时的人口数或死亡率，但是他首次建立了区分各年龄段的存活率表，因此被认为是人口统计学的主要创始人之一。——译者注 [2] 在对一个量（例如年收入）进行估计的时候，如果总体可以分为很多层（例如所有人口按照不同年龄或者不同职业分成很多层），一种直观的想法是每一层随机抽样的样本大小应该正比于这个层所包含人口的多少。奈曼指出，最优分配并非如此简单，实际上，层越大，层内待估计量的变化越大，该层抽样的单位费用越小，则该层的抽样就应该越多。具体的公式和推导过程可以参考1934年奈曼在Journal of the Royal Statistical Society上发表的“On the two differentaspects of the representative method：The method of stratified sampling and the method of purposiveselection”一文。——译者注。 [3] 此处指对回答“是”的概率的估计精度可以达到97%左右，也就是说估计值的标准差在3%左右。——译者注 [4] 刚才讨论的还只是最简单的经典抽样问题。尽管奈曼等人指出了其中非平凡的问题，但毕竟存在最优抽样的判断标准和最优方法。最近，祝建华教授在一次讨论中指出，如果抽样的对象更复杂，例如是一个网络，那么根本找不到一个“最优抽样”的标准，更不可能奢求抽样得到的小网络能够反映总体的所有结构特性。——译者注 [5] 太字节，一般记作TB，等于240字节。——译者注 [6] 这种偏见既包括研究者设计实验和问卷时的偏差，也包括被试人员由于了解自己作为被试的角色而产生的不同于日常的心理和行为。——译者注 [7] 全球最权威的复杂网络研究专家之一，其最新作品《爆发》（Bursts）是大数据新科学范式的典型代表，该书的简体中文版已由湛庐文化策划、中国人民大学出版社出版，推荐与本书参照阅读。——译者注 [8] 作者对这项研究的理解稍有不妥。该研究并未关注从网络中移除节点（手机用户）的情形，而是考察从网络中移除链路（通话关系）对网络结构的影响。借鉴渗流理论（PercolationTheory），作者发现，移除弱关系而非强关系反而会导致快速破碎成若干小碎片。详细分析可以参考Onnela等人2007年在《美国科学院院刊》上发表的“Structure and tie strengths in mobilecommunication networks”一文。——译者注 [9] 就个人而言，可以通过重叠社区挖掘的方法找到同时属于多个社区的节点，这些人往往对网络连通性至关重要。就联系而言，可以挖掘起桥接作用的连边，这些连边往往对网络连通性至关重要。这方面的概念和算术可参考2005年Palla等人在《自然》上发表的名为“Uncoveringthe overlapping community structure of complex networks in nature and society”一文及2010年程学旗等人在《统计力学杂志》上发表的名为“Bridgeness：a local index on edge significance in maintainingglobal connectivity”一文。——译者注 ## PDF_PHYSICAL_PAGE_INDEX=37 | PRINTED_PAGE=NOT_DETECTED 02更杂：不是精确性，而是混杂性 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。 【大数据先锋】 微软与语料库数据添加 IBM Candidate计算机翻译项目 无所不包的谷歌翻译系统 英国石油公司与无线感应器 麻省理工与通货紧缩预测软件 Hadoop与VISA的13分钟 允许不精确 在越来越多的情况下，使用所有可获取的数据变得更为可能，但为此也要付出一定的代价。数据量的大幅增加会造成结果的不准确，与此同时，一些错误的数据也会混进数据库。然而，重点是我们能够努力避免这些问题。我们从不认为这些问题是无法避免的，而且也正在学会接受它们。这就是由“小数据”到“大数据”的重要转变之一。 对“小数据”而言，最基本、最重要的要求就是减少错误，保证质量。因为收集的信息量比较少，所以我们必须确保记录下来的数据尽量精确。无论是确定天体的位置还是观测显微镜下物体的大小，为了使结果更加准确，很多科学家都致力于优化测量的工具。在采样的时候，对精确度的要求就更高更苛刻了。因为收集信息的有限意味着细微的错误会被放大，甚至有可能影响整个结果的准确性。 历史上很多时候，人们会把通过测量世界来征服世界视为最大的成就。事实上，对精确度的高要求始于13世纪中期的欧洲。那时候，天文学家和学者对时间、空间的研究采取了比以往更为精确的量化方式，用历史学家阿尔弗雷德·克罗斯比（Alfred Crosby）的话来说就是“测量现实”。 我们研究一个现象，是因为我们相信我们能够理解它。后来，测量方法逐渐被运用到科学观察、解释方法中，体现为一种进行量化研究、记录，并呈现可重复结果的能力。伟大的物理学家开尔文男爵曾说过：“测量就是认知。”这已成为一条至理名言。培根也曾说过：“知识就是力量。”同时，很多数学家以及后来的精算师和会计师都发展了可以准确收集、记录和管理数据的方法。 19世纪，科技率先发展起来的法国开发了一套能准确计量时间、空间单位的系统，并逐渐成为其他国家普遍采用的标准，这套系统还为后来国际公认的测量条约奠定了基础，成为测量时代的巅峰。仅半个世纪之后，20世纪20年代，量子力学的发现永远粉碎了“测量臻于至善”的幻梦。然而，在物理学这个小圈子以外的一些测量工程师和科学家仍沉湎在完美测量的梦中。 ## PDF_PHYSICAL_PAGE_INDEX=38 | PRINTED_PAGE=NOT_DETECTED 随着理性学科，如数学和统计学逐渐影响到商业领域，商业界更加崇尚这种思想。 然而，在不断涌现的新情况里，允许不精确的出现已经成为一个新的亮点，而非缺点。因为放松了容错的标准，人们掌握的数据也多了起来，还可以利用这些数据做更多新的事情。这样就不是大量数据优于少量数据那么简单了，而是大量数据创造了更好的结果。 同时，我们需要与各种各样的混乱做斗争。混乱，简单地说就是随着数据的增加，错误率也会相应增加。所以，如果桥梁的压力数据量增加1000倍的话，其中的部分读数就可能是错误的，而且随着读数量的增加，错误率可能也会继续增加。在整合来源不同的各类信息的时候，因为它们通常不完全一致，所以也会加大混乱程度。例如，与服务器处理投诉时的数据进行比较，用语音识别系统识别某个呼叫中心接到的投诉会产生一个不太准确的结果，但也是有助于我们把握整个事情的大致情况的。 混乱还可以指格式的不一致性，因为要达到格式一致，就需要在进行数据处理之前仔细地清洗数据，而这在大数据背景下很难做到。“大数据”专家帕堤尔（D.J.Patil）指出，I.B.M.、T.J.Watson Labs、International Business Machines都可以用来指代IBM，甚至可能有成千上万种方法称呼IBM。当然，在萃取或处理数据的时候，混乱也会发生。因为在进行数据转化的时候，我们是在把它变成另外的事物。比如，我们在对Twitter的信息进行情感分析来预测好莱坞票房的时候，就会出现一定的混乱。其实，混乱的起源和类型本来就是一团乱麻。 假设你要测量一个葡萄园的温度，但是整个葡萄园只有一个温度测量仪，那你就必须确保这个测量仪是精确的而且能够一直工作。反过来，如果每100棵葡萄树就有一个测量仪，有些测试的数据可能会是错误的，可能会更加混乱，但众多的读数合起来就可以提供一个更加准确的结果。因为这里面包含了更多的数据，而它不仅能抵消掉错误数据造成的影响，还能提供更多的额外价值。 现在想想增加读数频率的这个事情。如果每隔一分钟就测量一下温度，我们至少还能够保证测量结果是按照时间有序排列的。如果变成每分钟测量十次甚至百次的话，不仅读数可能出错，连时间先后都可能搞混掉。试想，如果信息在网络中流动，那么一条记录很可能在传输过程中被延迟，在其到达的时候已经没有意义了，甚至干脆在奔涌的信息洪流中彻底迷失。虽然我们得到的信息不再那么准确，但收集到的数量庞大的信息让我们放弃严格精确的选择变得更为划算。 在第一个例子里，我们为了获得更广泛的数据而牺牲了精确性，也因此看到了很多如若不然无法被关注到的细节。在第二个例子里，我们为了高频率而放弃了精确性，结果观察到了一些本可能被错过的变化。虽然如果我们能够下足够多的工夫，这些错误是可以避免的，但在很多情况下，与致力于避免错误相比，对错误的包容会带给我们更多好处。 为了扩大规模，我们接受适量错误的存在。正如技术咨询公司Forrester所认为的，有时得到2加2约等于3.9的结果，也很不错了。当然，数据不可能完全错误，但为了了解大致的发展趋势，我们愿意对精确性做出一些让步。 大数据洞察 “大数据”通常用概率说话，而不是板着“确凿无疑”的面孔。整个社会要习惯这种思维需要很长的时间，其中也会出现一些问题。但现在，有必要指出的是，当我们试图扩大数据规模的时候，要学会拥抱混乱。 ## PDF_PHYSICAL_PAGE_INDEX=39 | PRINTED_PAGE=NOT_DETECTED 我们可以在大量数据对计算机其他领域进步的重要性上看到类似的变化。我们都知道，如摩尔定律所预测的，过去一段时间里计算机的数据处理能力得到了很大的提高。摩尔定律认为，每块芯片上晶体管的数量每两年就会翻一倍。这使得电脑运行更快速了，存储空间更大了。大家没有意识到的是，驱动各类系统的算法也进步了——美国总统科技顾问委员会的报告显示，在很多领域这些算法带来的进步还要胜过芯片的进步。然而，社会从“大数据”中所能得到的，并非来自运行更快的芯片或更好的算法，而是更多的数据。 由于象棋的规则家喻户晓，且走子限制良多，在过去的几十年里，象棋算法的变化很小。计算机象棋程序总是步步为赢是由于对残局掌握得更好了，[1]而之所以能做到这一点也只是因为往系统里加入了更多的数据。实际上，当棋盘上只剩下六枚棋子或更少的时候，这个残局得到了全面的分析，并且接下来所有可能的走法（样本=总体）都被制入了一个庞大的数据表格[2]。这个数据表格如果不压缩的话，会有一太字节那么多。所以，计算机在这些重要的象棋残局中表现得完美无缺和不可战胜。 大数据在多大程度上优于算法这个问题在自然语言处理上表现得很明显（这是关于计算机如何学习和领悟我们在日常生活中使用语言的学科方向）。在2000年的时候，微软研究中心的米歇尔·班科（Michele Banko）和埃里克·布里尔（Eric Bill）一直在寻求改进Word程序中语法检查的方法。但是他们不能确定是努力改进现有的算法、研发新的方法，还是添加更加细腻精致的特点更有效。所以，在实施这些措施之前，他们决定往现有的算法中添加更多的数据，看看会有什么不同的变化。很多对计算机学习算法的研究都建立在百万字左右的语料库基础上。最后，他们决定往4种常见的算法中逐渐添加数据，先是一千万字，再到一亿字，最后到十亿。 结果有点令人吃惊。他们发现，随着数据的增多，4种算法的表现都大幅提高了。 大数据的力量 当数据只有500万的时候，有一种简单的算法表现得很差，但当数据达10亿的时候，它变成了表现最好的，准确率从原来的75%提高到了95%以上。与之相反地，在少量数据情况下运行得最好的算法，当加入更多的数据时，也会像其他的算法一样有所提高，但是却变成了在大量数据条件下运行得最不好的。它的准确率会从86%提高到94%。 后来，班科和布里尔在他们发表的研究论文中写到，“如此一来，我们得重新衡量一下更多的人力物力是应该消耗在算法发展上还是在语料库发展上。” 大数据的简单算法比小数据的复杂算法更有效 所以，数据多比少好，更多数据比算法系统更智能还要重要。那么，混乱呢？在班科和布里尔开始研究数据几年后，微软的最大竞争对手，谷歌，也开始更大规模地对这些问题进行探讨。谷歌用的是上万亿的语料库，而不是十亿的。谷歌做这类研究不是因为语法检查，而是为了解决翻译这个更棘手的难题。 20世纪40年代，电脑由真空管制成，要占据整个房间这么大的空间。而机器翻译也只是计算机开发人员的一个想法。在冷战时期，美国掌握了大量关于苏联的各种资料，但缺少翻译这些资料的人手。所以，计算机翻译也成了亟须解决的问题。 最初，计算机研发人员打算将语法规则和双语词典结合在一起。1954年，IBM以计算机中的250个词语和六条语法规则为基础，将60个俄语词组翻译成了英语，结果振奋人心。IBM 701通过穿孔卡片读取了“Mi pyeryedayem mislyi posryedstvom ryechyi”这句话，并且将其译成了“我们通过语言来交流思想”。在庆祝这个成就的发布会上，一篇报道就有提到，这60句话翻译得很流畅。这个程序的指挥官利昂·多斯特尔特（LeonDostert）表示，他相信“在三五年后，机器翻译将会变得很成熟”。 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=40&limit=10)