--- schema_version: "library-reader-v1" source_type: "original_book" title: "大数据时代生活,工作与思维的大变革" author: null edition: null publisher: null year: null isbn: null library_document_id: "4e51e488-5704-438f-b921-0a77b3af1e73" source_sha256: "ee827419b671537936a1ca3e5a0d9b2b119b358e751ef2c5850e59fbd150cc76" pdf_physical_page_count: 141 pdf_physical_page_index_base: 0 range_start: 80 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73?start=80&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=80&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=70&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=90&limit=10" --- # 大数据时代生活,工作与思维的大变革 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=80 | PRINTED_PAGE=NOT_DETECTED 最后，研究没有发现使用移动电话和癌症风险增加之间存在任何关系。因此，当2011年10月研究结果在《英国医学杂志》上发布时，并未在媒体中引起任何轰动。但是如果两者之间存在关联的话，它可能马上就会登上世界各地的头版头条，而“重组数据”也可能会随之名声大噪。 随着大数据的出现，数据的总和比部分更有价值。当我们将多个数据集的总和重组在一起时，重组总和本身的价值也比单个总和更大。如今，互联网用户都熟悉基本的混搭式应用，即将两个或多个数据源以一种新颖的方法结合起来。例如，房地产网站Zillow.com将房地产信息和价格添加在美国的社区地图上，同时还聚合了大量的信息，如社区近期的交易和物业规格，以此来预测区域内具体每套住宅的价值。 这个结果极具指导意义，尽管通过视觉展示使得数据更加亲和且非常简单，但采用位置信息并将其置于地图上毕竟不是一个创造性的飞跃。随着大数据的出现，我们可以走得更远，丹麦的癌症研究就为我们提示了更多的可能性。 数据创新3：可扩展数据 促成数据再利用的方法之一是从一开始就设计好它的可扩展性。虽然这不总是可能的，因为人们可能在数据收集后很长时间才意识到这一点，但的确有一些方法可以鼓励相同数据集的多种用途。例如，有些零售商在店内安装了监控摄像头，这样不仅能认出商店扒手，还能跟踪在商店里购物的客户流和他们停留的位置。零售商利用后面的信息可以设计店面的最佳布局并判断营销活动的有效性。在此之前，监控摄像机仅用于安全保卫，是一项纯粹的成本支出，而现在却被视为一项可以增加收入的投资。 大数据先锋 谷歌街景与GPS采集 在收集数据时强调扩展性方面，谷歌毫无疑问是做得最好的公司之一。其备受争议的街景汽车不仅拍摄了房屋和道路的照片，还同时采集GPS数据，检查地图的信息，甚至还加入了无线网络名称（以及通过开放无线网络的内容，尽管这可能是非法的）。一辆谷歌街景汽车每时每刻都能积累大量的离散数据流。这些数据之所以具有可扩展性，是因为谷歌不仅将其用于基本用途，而且进行了大量的二次使用。例如，GPS数据不仅优化了其地图服务，而且对谷歌自动驾驶汽车的运作功不可没。 收集多个数据流或每个数据流中更多数据点的额外成本往往较低，因此，收集尽可能多的数据并在一开始的时候就考虑到各种潜在的二次用途并使其具有扩展性是非常有意义的。这增加了数据的潜在价值。问题的关键是寻找“一份钱两份货”，即如果以某种方式收集的单一数据集有多种不同的用途，它就具有双重功能。 数据创新4：数据的折旧值 随着数据存储成本的大幅下降，企业拥有了更强的经济动机来保存数据，并再次用于相同或类似的用途。但是，其有效性是有限的。例如，像奈飞和亚马逊这类公司可以利用客户购买的产品、浏览的页面和评论来推荐新的产品，他们可能会年复一年、一遍又一遍地使用这些数据。考虑到这一点，人们可能会认为只要公司不被隐私保护法等法律法规所限制，就应该永远保存这些数字记录，或者至少在经济条件允许的情况下保存这些记录。然而，事实并非如此简单。 ## PDF_PHYSICAL_PAGE_INDEX=81 | PRINTED_PAGE=NOT_DETECTED 随着时间的推移，大多数数据都会失去一部分基本用途。在这种情况下，继续依赖于旧的数据不仅不能增加价值，实际上还会破坏新数据的价值。比如十年前你在亚马逊买了一本书，而现在你可能已经对它完全不感兴趣。如果亚马逊继续用这个数据来向你推荐其他书籍，你就不太可能购买带有这类标题的书籍，甚至会担心该网站之后的推荐是否合理。这些推荐的依据既有旧的过时的信息又有近期仍然有价值的数据，而旧数据的存在破坏了新数据的价值。 于是，亚马逊决定只使用仍有生产价值的数据，这就需要不断地更新数据库并淘汰无用信息。这时面临的挑战就是如何得知哪些数据不再有价值。仅仅依据时间来判断显然不够，[1]因此，亚马逊等公司建立了复杂的模型来帮助自己分离有用和无用的数据。例如，如果客户浏览或购买了一本基于以往购买记录而推荐的书，电子商务公司就认为这项旧的购买记录仍然代表着客户的喜好。这样，他们就能够评价旧数据的有用性，并使模型的“折旧率”更具体。 然而，并非所有的数据都会贬值。有些公司提倡尽可能长时间地保存数据，即使监管部门或公众要求它们短时间内删除或隐匿这些信息。这就解释了为什么一直以来，谷歌都拒绝将互联网协议地址从旧的搜索查询中完全删除（它只是在18个月后删除了最后四位数以隐匿搜索查询）。谷歌希望得到每年的同比数据，如假日购物搜索等。此外，通过了解搜索者的位置，可以帮助改善搜索结果的相关性。例如，很多纽约人都会搜索“火鸡”，但经常会搜索到与“火鸡”无关的关于“土耳其”的网页（英文中“火鸡”与“土耳其”同为turkey）。通过算法可以将他们想要查看的页面放在排名靠前的位置，来方便其他纽约人查找。即使数据用于基本用途的价值会减少，但潜在价值却依然强大。 大数据洞察 潜在价值的概念表明，组织机构应收集尽可能多的使用数据并保存尽可能长的时间。同时也应当与第三方分享数据，前提是要保留所谓的“延展性”权利（专利许可术语）。这样一来，由数据再利用而产生的任何商业价值，原始数据拥有者都能从中分到一杯羹。数据收集者和拥有者无法想象数据再利用的所有可能方式，这一点几乎是不言自明的。 数据创新5：数据废气 数据再利用的方式可以很巧妙、很隐蔽。网络公司可以捕捉到用户在其网站上做的所有事情，然后将每个离散交互当作一个“信号”，作为网站个性化、提高服务或创建全新数字化产品的反馈。两个关于拼写检查的故事给我们提供了一个生动的解释。 大数据先锋 微软与谷歌的拼写检查 在过去的20多年中，微软为其Word软件开发出了一个强大的拼写检查程序，通过与频繁更新的字典正确拼写相比较来对用户键入的字符流进行判断。字典囊括了所有已知词汇，系统将拼写相似但字典中没有的词汇判断为拼写错误，并对其进行纠正。由于需要不断编译和更新字典，微软Word的拼写检查仅适用于最常用的语言，且每年需要花费数百万美元的创建和维护费用。 现在再来看看谷歌是怎么做的吧。可以说，谷歌拥有世界上最完整的拼写检查器，基本上涵盖了世界上的每一种语言。这个系统一直在不断地完善和增加新的词汇，这是人们每天使用搜索引擎的附加结果。你输错了iPad吗？不要紧，它在那儿呢；Obamacare是什么？哦，明白了。 ## PDF_PHYSICAL_PAGE_INDEX=82 | PRINTED_PAGE=NOT_DETECTED 而且，谷歌几乎是“免费”地获得了这种拼写检查，它依据的是其每天处理的30亿查询中输入搜索框中的错误拼写。一个巧妙的反馈循环可以将用户实际想输入的内容告知系统。当搜索结果页面的顶部显示“你要找的是不是：流行病学”时，用户可以通过点击正确的术语明确地“告诉”谷歌自己需要重新查询的内容。或者，直接在用户访问的页面上显示正确拼写的结果，因为它很可能与正确的拼写高度相关。（这实际上比看上去更有意义，因为随着谷歌拼写检查系统的不断完善，人们即使没有完全精确地输入查询内容也能够获得正确的查询结果。） 谷歌的拼写检查系统显示，那些“不合标准”、“不正确”或“有缺陷”的数据也是非常有用的。有趣的是，谷歌并不是第一个有这种拼写想法的公司。2000年左右，雅虎也看到了从用户输错的查询中创建拼写检查系统的可能性，但只是停留在了想法阶段，并未付诸实践。旧的搜索查询数据就这样被当成了垃圾对待。同样，Infoseek和Alta Vista这两个早期流行的搜索引擎，虽然在那个年代都拥有世界上最全面的错别字数据库，但他们未懂得欣赏其中的价值。在用户不可见的搜索过程中，他们的系统将错别字作为“相关词”进行了处理，但是它的依据是明确告诉系统对与错的字典，而不是鲜活的、有生命的用户交互的总和。 只有谷歌认识到了用户交互的碎屑实际上是金粉，收集在一起就能锻造成一块闪亮的金元宝。谷歌的一名顶级工程师估计，他们的拼写检查器性能比微软至少高出一个数量级（虽然他在采访时承认这并没有进行过可靠计算）。他还嘲笑了“免费”开发的想法——“虽然原材料拼写错误都是免费获得的，但谷歌在系统开发上的花费可能比微软要多得多。”他大笑着说。 这两家公司的不同做法很能说明问题。微软只看到了拼写检查作为文字处理这一个目的的价值，而谷歌却理解了其更深层次的价值。不仅利用错别字开发了世界上最好、最新式的拼写检查器来提高搜索质量，而且将其应用于许多其他服务中，如搜索的“自动完成”功能、Gmail、谷歌文档甚至翻译系统。 一个用来描述人们在网上留下的数字轨迹的艺术词汇出现了，这就是“数据废气”。它是用户在线交互的副产品，包括浏览了哪些页面、停留了多久、鼠标光标停留的位置、输入了什么信息等。许多公司因此对系统进行了设计，使自己能够得到数据废气并循环利用，以改善现有的服务或开发新服务。毋庸置疑，谷歌是这方面的领导者，它将不断地“从数据中学习”这个原则应用到许多服务中。用户执行的每一个动作都被认为是一个“信号”，谷歌对其进行分析并反馈给系统。 大数据先锋 谷歌，从大的“噪音”数据中受益 例如，谷歌敏锐地注意到，人们经常搜索某个词及其相关词，点击进入后却未能找到想要的信息，于是又返回到搜索页面继续搜索。它知道人们点击的是第1页的第8个链接还是第8页的第1个链接，或者是干脆放弃了所有搜索点击。谷歌不是第一个洞察到这一点的公司，但它利用这一点并取得了非凡的成果。 这些信息是非常有价值的。如果许多用户都点击搜索结果页底部的链接，就表明这个结果更加具有相关性，谷歌的排名算法就会自动地在随后的搜索中将它提到页面中比较靠前的位置（广告也是如此）。一位谷歌的员工说：“我们喜欢从大的‘噪音’数据集中吸取教训。” 数据废气是许多电脑化服务背后的机制，如语音识别、垃圾邮件过滤、翻译等。当用户指出语音识别程序误解了他们的意思时，他们实际上有效地“训练”了这个系统，让它变得更好。 ## PDF_PHYSICAL_PAGE_INDEX=83 | PRINTED_PAGE=NOT_DETECTED 很多企业都开始设计他们的系统，以这种方式收集和使用信息。在Facebook的早期，数据科学家们研究了数据废气的丰富信息，发现人们会采取某种行动（如回帖、点击图标等）的最重要的预测指标就是他们看到了周围的朋友也在这么做。紧接着，Facebook重新设计了它的系统，使每个用户的活动变得可见并广播出去，这为网站的良性循环做出了新的贡献。逐渐地，这个想法从互联网行业传播至可以收集用户反馈的任何公司。 大数据先锋 巴诺与NOOK快照 电子书阅读器捕捉了大量关于文学喜好和阅读人群的数据：读者阅读一页或一节需要多长时间，读者是略读还是直接放弃阅读，读者是否画线强调或者在空白处做了笔记，这些他们都会记录下来。这就将阅读这种长期被视为个人行为的动作转换成了一种共同经验。一旦聚集起来，数据废气可以用量化的方式向出版商和作者展示一些他们可能永远都不会知道的信息，如读者的好恶和阅读模式。这是十分具有商业价值的。电子图书出版公司可以将这些信息卖给出版商，从而帮助改进书籍的内容和结构。例如，巴诺通过分析Nook电子阅读器的数据了解到，人们往往会弃读长篇幅的非小说类书籍。公司从中受到启发，从而推出“Nook快照”，加入了一系列健康和时事等专题的短篇作品。 Udacity、Coursera和EDX等在线教育课程通过跟踪学生的Web交互来寻找最佳的教学方法。班级人数成千上万，产生的数据也十分惊人。教授们现在可以看到，如果大部分学生需要再看一遍课程内容，就可能表明某些地方他们还不太清楚。在斯坦福大学教授安德鲁·恩格（AndrewNg）讲授的Coursera机器学习课堂上，他注意到约有2000名学生课外作业的答案是错误的，但错误答案居然是相同的。显然，他们都犯了相同的错误，那么是什么呢？ 随着一点点的调查，他终于弄清楚了，他们把一个算法里的两个代数方程弄反了。[2]所以如果现在还有其他学生犯同样错误的话，系统不会简单地告诉他们做错了，而是会提示他们去检查算法。这个系统也应用了大数据，通过分析学生看过的每个论坛帖子以及他们是否正确完成课外作业，来预测看过某个帖子之后的学生正确作答的概率，并由此来确定哪些论坛帖子最适合学生阅读。这些都是过去很难得知的，现在却永远地改变了教学方式。 数据废气可以成为公司的巨大竞争优势，也可能成为对手的强大进入壁垒。试想，如果一家新上市的公司设计了一个比当今行业领先者（如亚马逊、谷歌或Facebook等）更优秀的电子商务网站、社交网站或搜索引擎，它也难以同对手竞争，这不仅是因为其经济规模、网络效应或品牌价值不够好，而是因为这些公司收集了来自客户交互的数据废气并纳入到他们的服务中。一个新的在线教育网站有能力与一个已经具备庞大数据库并且由此知道什么最好的对手相抗衡吗？ 数据创新6：开放数据 如今，我们很可能认为谷歌和亚马逊等网站是大数据的先驱者，但事实上，政府才是大规模信息的原始采集者，并且还在与私营企业竞争他们所控制的大量数据。政府与私营企业数据持有人之间的主要区别就是，政府可以强迫人们为他们提供信息，而不必加以说服或支付报酬。因此，政府将继续收集和积累大量的数据。 大数据对于公共部门的适用性同对商业实体是一样的：大部分的数据价值都是潜在的，需要通过创新性的分析来释放。但是，由于政府在获取数据中所处的特殊地位，因此他们在数据使用上往往效率很低。最近有一个想法得到了公认，即提取政府数据价值最好的办法是允许私营部门和社会大众访问。这其实是基于一个原则：国家收集数据时代表的是其公民，因此它也理应提供一个让公民查看的入口，但少数可能会危害到国家安全或他人隐私权的情况除外。 ## PDF_PHYSICAL_PAGE_INDEX=84 | PRINTED_PAGE=NOT_DETECTED 这种想法让“开放政府数据”的倡议响彻全球。开放数据的倡导者主张，政府只是他们所收集信息的托管人，私营部门和社会对数据的利用会比政府更具有创新性。他们呼吁建立专门的官方机构来公布民用和商业数据；而且数据必须以标准的可机读形式展现，以方便人们处理。否则，信息的公开只会是徒有虚名。 2008年1月21日，奥巴马总统在就职的第一天发表了一份总统备忘录，命令美国联邦机构的负责人公布尽可能多的数据，这使开放政府数据的想法取得了极大的进展。“面对怀疑，公开优先。”他这样指示道。这真是一个了不起的声明，特别是与那些作出相反指令的前任们相比。奥巴马的指令促成了data.gov网站的建立，这是美国联邦政府的公开信息资料库。网站从2009年的47个数据集迅速发展起来，到2012年7月三周年时，数据集已达45万个左右，涵盖了172个机构。 即使是在严谨的英国[3]，现在也出现了实质性的转变。英国政府已经颁布相关规定鼓励信息公开，并支持创建由万维网的发明者蒂姆·伯纳斯（Tim Berners-Lee）参与指导的开放式数据中心，这一举措促进了开放数据的新用途并将数据从国家手中解放出来。 欧盟宣布开放数据的举措很快也会遍及整个欧洲。其他国家，如澳大利亚、巴西、智利等也相继出台并实施了开放数据策略。同时，世界各地越来越多的城市和地区也已经加入开放数据的热潮，一些国际组织也是如此，世界银行就公开了数百个之前被限制的关于经济和社会指标方面的数据集。 同时，各种Web开发人员和富有远见的思想家组成了数据团队来最大化开放数据价值，如美国的阳光基金会和英国的开放知识基金会。 大数据先锋 FlyOnTime的航班时间预测 开放数据早期的一个例子，来自美国一个叫FlyOnTime.us的网站。人们可以交互地（从许多其他相互关系中）判断恶劣天气使某一特定机场的航班延迟的可能性有多大。该网站结合了航班信息和互联网免费提供的官方天气预报。它是由开放数据的倡导者开发的，由此来说明美国联邦政府所积累信息的实际使用价值。不仅数据是免费提供的，而且软件代码也是开放源代码，可供人们学习和再次利用。 FlyOnTime.us让数据说话，并且经常语出惊人。人们可以看到，从波士顿到纽约拉瓜迪亚机场的航班因大雾延迟的时间是因雪延迟的两倍。当人们在候机室逗留时，大部分人可能都料想不到这一点，因为他们通常认为雪才是使航班延迟更重要的原因。正是大数据给了人们这种洞察力，只要将交通运输局的历史航班延误数据和美国联邦航空管理局的机场信息，以及美国国家海洋和大气管理局的以往天气报告和国家气象服务的实时状态结合起来，就能揭示这一切。FlyOnTime.us充分体现了一个不收集或控制信息的实体单位是如何像搜索引擎或大零售商一样，能够获取数据并利用其创造价值。 给数据估值 无论是向公众开放还是将其锁在公司的保险库中，数据的价值都难以衡量。来看看2012年5月18日星期五发生的事吧。这一天，28岁的Facebook创始人马克·扎克伯格（Mark Zuckerberg）在位于美国加利福尼亚州门洛帕克市的公司总部，象征性地敲响了纳斯达克的开盘钟。这家宣称全球约每十人中就有一人是其用户的全球最大社交网络公司，开启了其作为上市公司的征程。 ## PDF_PHYSICAL_PAGE_INDEX=85 | PRINTED_PAGE=NOT_DETECTED 和很多新科技股的第一个上市交易日一样，公司股价立即上涨了11%，翻倍增长甚至已经近在眼前。然而就在这一天，怪事发生了。Facebook的股价开始下跌，期间纳斯达克的电脑因出现技术故障曾暂停交易，但仍然于事无补，情况甚至更加恶化。感到异常的股票承销商在摩根士丹利的带领下，不得不支撑股价，最终以略高于发行价收盘。 上市的前一晚，银行对Facebook的定价是每股38美元，总估值1040亿美元（也就是说，大约是波音公司、通用汽车和戴尔电脑的市值之和）。那么事实上Facebook价值多少呢？在2011年供投资者评估公司的审核账目中，Facebook公布的资产为66亿美元，包括计算机硬件、专利和其他实物价值。那么Facebook公司数据库中存储的大量信息，其账面价值是多少呢？零。它根本没有被计入其中，尽管除了数据，Facebook几乎一文不值。 这令人匪夷所思。加特纳市场研究公司（Gartner）的副总裁道格·莱尼（Doug Laney）研究了Facebook在IPO前一段时间内的数据，估算出Facebook在2009年至2011年间收集了2.1万亿条“获利信息”，比如用户的“喜好”、发布的信息和评论等。与其IPO估值相比，这意味着每条信息（将其视为一个离散数据点）都有约4美分的价值。也就是说，每一个Facebook用户的价值约为100美元，因为他们是Facebook所收集信息的提供者。 那么，如何解释Facebook根据会计准则计算出的价值（约63亿美元）和最初的市场估值（1040亿美元）之间会产生如此巨大的差距呢？目前还没有很好的方法能解释这一点。然而人们普遍开始认为，通过查看公司“账面价值”（大部分是有形资产的价值）来确定企业价值的方法，已经不能充分反映公司的真正价值。事实上，账面价值与“市场价值”（即公司被买断时在股票市场上所获的价值）之间的差距在这几十年中一直在不断地扩大。美国参议院甚至在2000年举行了关于将现行财务报告模式现代化的听证会。现行的财务报告模式始于20世纪30年代，当时信息类的企业几乎不存在。现行财务报表模式与现状的差异不仅会影响公司的资产负债表，如果不能正确评估企业的价值，还可能会给企业带来经营风险和市场波动。 公司账面价值和市场价值之间的差额被记为“无形资产”。20世纪80年代中期，无形资产在美国上市公司市值中约占40%，而在2002年，这一数字已经增长为75%。无形资产早期仅包含品牌、人才和战略这些应计入正规金融会计制度的非有形资产部分。但渐渐地，公司所持有和使用的数据也渐渐纳入了无形资产的范畴。 最终，这意味着目前还找不到一个有效的方法来计算数据的价值。Facebook开盘当天，其正规金融资产与其未记录的无形资产之间相差了近1000亿美元，差距几乎是20倍！太可笑了。但是，随着企业找到在资产负债表上记录数据资产价值的方法，这样的差距有一天也必将消除。 人们正在朝着这个方向前进。在美国最大的无线运营商之一工作的一位高级管理人员透露说，数据持有人在认识到数据的巨大价值之后会研究是否在正式的会计条款中将其作为企业的资产。但是，一旦公司的律师得知此事，便会加以阻止。因为把数据计入账面价值可能会使该公司承担法律责任，律师们并不认为这是一个好主意。 同时，投资者也开始注意到数据的潜在价值。拥有数据或能够轻松收集数据的公司，其股价会上涨；而其他不太幸运的公司，就只能眼看着自己的市值缩水。因为这种状况，数据并不要求其价值正式显示在资产负债表中。尽管做起来有困难，市场和投资者还是会给这些无形资产估价，所以Facebook的股价在最初的几个月中一直摇摆不定。但随着会计窘境和责任问题得到缓解，几乎可以肯定数据的价值将显示在企业的资产负债表上，成为一个新的资产类别。 ## PDF_PHYSICAL_PAGE_INDEX=86 | PRINTED_PAGE=NOT_DETECTED 那么，如何给数据估值呢？诚然，计算价值不再是将其基本用途简单地加总。但是如果数据的大部分价值都是潜在的，需要从未知的二次利用提取，那么人们目前尚不清楚应该如何估算它。这个难度类似于在20世纪70年代布莱克-舒尔斯期权定价理论出现前金融衍生品的定价。它也类似于为专利估值，因为随着各种拍卖、交流、私人销售、许可和大量诉讼的出现，一个知识市场正在逐渐兴起。如果不出意外，给数据的潜在价值贴上价格标签会给金融部门带来无限商机。 一个办法是从数据持有人在价值提取上所采取的不同策略入手，最常见的一种可能性就是将数据授权给第三方。在大数据时代，数据持有人倾向于从被提取的数据价值中抽取一定比例作为报酬支付，而不是敲定一个固定的数额。这有点类似于出版商从书籍、音乐或电影的获利中抽取一定比例，作为支付给作者和表演者的特许权使用费；也类似于生物技术行业的知识产权交易，许可人要求从基于他们技术成果的所有后续发明中抽取一定比例的技术使用费。这样一来，各方都会努力使数据再利用的价值达到最大。然而，由于被许可人可能无法提取数据全部的潜在价值，因此数据持有人可能还会同时向其他方授权使用其数据，两边下注以避免损失。因而，“数据滥交”可能会成为一种常态。 一些试图给数据定价的市场如雨后春笋般出现。2008年在冰岛成立的DataMarket向人们提供其他机构（如联合国、世界银行和欧盟统计局等）的免费数据集，靠倒卖商业供应商（如市场研究公司）的数据来获利。另一家新创办的公司InfoChimps，其总部设在得克萨斯州奥斯汀市，希望成为一个信息中间人，供第三方以免费或付费的方式共享他们的数据。就像易趣给人们提供了一个出售家中搁置不用的物品的平台一样，这些科技创业公司想为任何手中拥有数据的人提供一个出售数据的平台。例如，Import.io鼓励公司授权别人使用自己手中的数据，不然别人也可以从网上免费收集到这些数据。谷歌的前员工吉尔·埃尔巴兹（Gil Elbaz）创办的Factual收集数据，然后制成数据库供需要者使用。 微软也带着它的Windows Azure DataMarket登上了历史舞台。它的目标是专注高质量的数据和监督所提供的产品，其方式和苹果公司监督其应用程序商店中的产品类似。微软假设，一位销售主管在准备Excel表格时可能还需要做一份公司内部数据和来自经济顾问的GDP增长预测的交叉表，那么她只要点击想要购买的数据，后者将瞬间出现在她的电脑屏幕上。 到目前为止，没有人知道估值模型将发挥出怎样的作用。但可以肯定的是，经济正渐渐开始围绕数据形成，很多新玩家可以从中受益，而一些资深玩家则可能会找到令人惊讶的新生机。用硅谷技术专家和科技出版社员工蒂姆·奥莱利（Tim O＆apos；Reilly）的话来说就是，“数据是一个平台”，因为数据是新产品和新商业模式的基石。 大数据洞察 数据价值的关键是看似无限的再利用，即它的潜在价值。收集信息固然至关重要，但还远远不够，因为大部分的数据价值在于它的使用，而不是占有本身。 下一章，我们将考察数据的实际运用和日益崛起的大数据行业。 [1] 即使只考虑因时间不同而造成新旧数据价值的不同，也不是一个容易的问题。2010年 ## PDF_PHYSICAL_PAGE_INDEX=87 | PRINTED_PAGE=NOT_DETECTED Koren在《ACM通讯》上题为“Collaborative Filtering with Temporal Dynamics”的文章向我们展示了这一单一特征亦足以巨大地影响推荐的效果。——译者注 [2] 据此猜测是指期望最大化算法，即Expectation Maximization Algorithm。——译者注 [3] 以往大量的政府信息都封锁在英国皇家版权（Crown Copyright）手中，使用起来非常困难和昂贵（比如在线地图公司用到的邮递区号）。——作者注 ## PDF_PHYSICAL_PAGE_INDEX=88 | PRINTED_PAGE=NOT_DETECTED 06角色定位：数据、技术与思维的三足鼎立 微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以7亿美元的价格购买了给Farecast提供数据的ITASoftware公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分的价值还是必须从数据本身中挖掘。 【大数据先锋】 ITA software与数据授权 VISA＆MasterCard与商户推荐 微软研究中心与再入院率分析 埃森哲与无线传感监测系统 FlightCaster的大数据思维 谷歌与亚马逊，三者兼备 数据中间商，交通数据处理公司Inrix The-Numbers.com与电影票房预测 苹果，挖出“潜伏”的数据价值 Decide.com与商品价格预测 2011年，西雅图一家叫Decide.com的科技公司推出了一个雄心勃勃的门户网站，它想为无数顾客预测商品的价格。不过它最初计划的业务范围只限于电子产品，包括手机、平板电视、数码相机等。公司的计算机会收集电子商务网站上所有电子产品的价格数据和产品信息。 网络产品的价格受一系列因素的影响全天都在不断更新，所以公司收集的价格数据必须是即时的。这不仅是一个“大数据”问题，还是一个“大文本”问题，因为系统必须进行数据分析，才会知道一个产品是不是下架了或者是不是有新产品要发布了，这些都是用户想知道的信息而且都会影响产品价格。 经过一年的时间，Decide.com分析了近400万产品的超过250亿条价格信息。它发现了一些过去人们无法意识到的怪异现象，比如在新产品发布的时候，旧一代的产品可能会经历一个短暂的价格上浮。大部分人都习惯性地认为旧产品更便宜，所以会选择买旧产品，其实这取决于你什么时候购买，不然有可能你付出的金钱比购买新产品还要多。因为电子商务网站都开始使用自动定价系统，所以Decide.com能够发现不正常、不合理的价格高峰，然后告知用户何时才是购买电子产品的最佳时机。 大数据的力量 根据公司内部分析显示，它的预测准确率可以达到77%，平均可以帮助每个顾客在购买一个产品时节省100美元。 ## PDF_PHYSICAL_PAGE_INDEX=89 | PRINTED_PAGE=NOT_DETECTED 表面上，Decide.com就像众多前途光明的科技公司一样，在创新地使用数据、赚取利润。但是事实上，让Decide.com异军突起的不是数据，不是技术，而是思维观念。Decide.com使用的数据都来自电子商务网站和互联网，这是公开的数据，每个人都可以利用。技术上，公司也并没有无可替代的技术人才。所以，虽然数据和技术也是不可或缺的，但是真正使得该公司取得成功的是他们拥有大数据的思维观念。它先人一步地挖掘出了数据的潜在价值。Decide.com和Farecast之间似乎有着相通性，如果你知道它们都是华盛顿大学奥伦·埃齐奥尼先生的杰作，你就知道原因了。 上一章中，我们讨论了怎样通过创新用途，挖掘出数据新的价值，主要是指我们所说的潜在价值。如今，我们的重点转移到了使用数据的公司和它们如何融入大数据价值链中。我们将讨论这对公司、个人的事业和生活意味着什么。 大数据价值链的3大构成 根据所提供价值的不同来源，分别出现了三种大数据公司。这三种来源是指：数据本身、技能与思维。 第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据，却不一定有从数据中提取价值或者用数据催生创新思想的技能。最好的例子就是Twitter，它拥有海量数据这一点是毫无疑问的，但是它的数据都通过两个独立的公司授权给别人使用。 第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或提出数据创新性用途的才能。比方说，沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司（Teradata）的分析来获得营销点子，天睿就是一家大数据分析公司。 第三种是基于思维的公司。皮特·华登（Pete Warden），Jetpac的联合创始人，就是通过想法获得价值的一个例子。Jetpac通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。对于某些公司来说，数据和技能并不是成功的关键。让这些公司脱颖而出的是其创始人和员工的创新思维，他们有怎样挖掘数据的新价值的独特想法。 大数据洞察 到目前为止，前两种因素一直备受关注，因为在现今世界，技能依然欠缺，而数据则非常之多。近年来，一种新的职业出现了，那就是“数据科学家”。数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。与通过显微镜发现事物不同，数据科学家通过探寻数据库来得到新的发现。全球知名咨询管理公司麦肯锡，就曾极端地预测数据科学家是当今和未来稀缺的资源。如今的数据科学家们也喜欢用这个预测来提升自己的地位和工资水平。 同时，谷歌的首席经济学家哈尔·范里安（Hal Varian）认为统计学家是世界上最棒的职业，他的这种说法非常著名。“如果你想成功，你不应该成为一个普通的、可被随意替代的人，你应该成为稀缺的、不可替代的那类人，”他还说，“数据非常之多而且具有战略重要性，但是真正缺少的是从数据中提取价值的能力。这也就是为什么统计学家、数据库管理者和掌握机器理论的人是真正了不起的人。” 但是，过分强调技术和技能而忽视数据本身的重要性也是不可取的。随着计算机行业的发展，人力技术的落后会被慢慢地克服，而范里安所赞赏的技能将会变成十分普通的事情。认为当今世界数据非常之多，所以收集数据很简单而且数据价值并不高的想法是绝对错误的——数据才是最核心的部分。要知道原因，就必须考虑到大数据价值链的各个部分，以及它们会如何发展变化。 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=90&limit=10)