3.1 什么是大数据
云计算、物联网、移动互连、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加,推动人类社会迈入大数据时代。一般意义上,大数据是指利用现有理论、方法、技术和工具难以在可接受的时间内完成分析计算、整体呈现高价值的海量复杂数据集合。
3.1.1大数据的特征
大数据呈现出多种鲜明的特征。
●在数据量方面,当前全球所拥有的数据总量已经远远超过历史上的任何时期,更为重要的是,数据量的增加速度呈现出倍增趋势,并且每个应用所计算的数据量也大幅增加。
●在数据速率方面,数据的产生、传播的速度更快,在不同时空中流转,呈现出鲜明的流式特征,更为重要的是,数据价值的有效时间急剧缩短,也要求越来越高的数据计算和使用能力。
●在数据复杂性方面,数据种类繁多,数据在编码方式、存储格式、应用特征等多个方面也存在多层次、多方面的差异性,结构化、半结构化、非结构化数据并存,并且半结构化、非结构化数据所占的比例不断增加。
在数据价值方面,数据规模增大到一定程度之后,隐含于数据中的知识的价值也随之增大,并将更多地推动社会的发展和科技的进步。此外,大数据往往还呈现出个性化、不完备化、价值稀疏、交叉复用等特征。
大数据蕴含大信息,大信息提炼大知识,大知识将在更高的层面、更广的视角、更大的范围帮助用户提高洞察力,提升决策力,将为人类社会创造前所未有的重大价值。但与此同时,这些总量极大的价值往往隐藏在大数据中,表现出价值密度极低、分布极其不规律、信息隐藏程度极深、发现有用的价值极其困难的鲜明特征。这些特征必然为大数据的计算环节带来前所未有的挑战和机遇,并要求大数据计算系统具备高性能、实时性、分布式、易用性、可扩展性等特征。
如果将云计算看作对过去传统IT架构的颠覆,云计算也仅仅是硬件层面对行业的改造,而大数据的分析应用却是对行业中业务层面的升级。大数据将改变企业之间的竞争模式,未来的企业将都是数据化生存的企业,企业之间竞争的焦点将从资本、技术、商业模式的竞争转向对大数据的争夺,这将体现为一个企业拥有的数据的规模、数据的多样性以及基于数据构建全新的产品和商业模式的能力。目前来看,越来越多的传统企业看到了云计算和大数据的价值,从传统的IT积极向DT时代转型是当前一段时间的主流,简单地解决云化的问题,并不能给其带来更多价值。
第3章 数据
59