不过，值得注意的是，即便外部数据越来越丰富，但可获取性还不够高，一方面受目前技术水平所限，车联网、可穿戴设备等数据采集精度、数据清洗技术和数据质量还达不到实用要求；另一方面，由于体制机制原因，导致行业和区域上的条块分割、数据割据和孤岛普遍存在，跨企业、跨行业数据资源的融合仍然面临诸多障碍。根据中国信息通信研究院对国内800多家企业的调研来看，有50%以上的企业把内部业务平台数据、客户数据和管理平台数据作为大数据应用最主要的数据来源。企业内部数据仍是大数据的主要来源，但对外部数据的需求日益强烈。当前，有32%的企业通过外部购买获得数据，只有18%的企业使用政府开放的数据。如何促进大数据资源建设，提高数据质量，推动跨界融合流通，是推动大数据应用进一步发展的关键问题之一。
- 分布式存储和计算技术夯实了大数据处理的技术基础
大数据存储和计算技术是整个大数据系统的基础。在存储方面，2000年左右，谷歌等提出的文件系统以及随后的Hadoop分布式文件系统HDFS奠定了大数据存储技术的基础。与传统系统相比，GFS/HDFS将计算和存储节点在物理上结合在一起，从而避免在数据密集计算中易形成的I/O吞吐量的制约，同时这类分布式存储系统的文件系统也采用了分布式架构，能达到较高的并发访问能力。
在计算方面，谷歌在2004年公开的MapReduce分布式并行计算技术是新型分布式计算技术的代表。一个MapReduce系统由廉价的通用服务器构成，通过添加服务器节点可线性扩展系统的总处理能力，在成本和可扩展性上都有巨大的优势。谷歌的MapReduce是其内部网页索引、广告等核心系统的基础。之后出现的Apache HadoopMapReduce是谷歌MapReduce的开源实现，目前已经成为应用最广泛的大数据计算软件平台。
MapReduce架构能够满足“先存储后处理”的离线批量计算需求，但也存在局限性，最大的问题是时延过长，难以适用于机器学习迭代、流处理等实时计算任务，也不适合针对大规模图数据等特定数据结构进行快速运算。为此，业界在MapReduce的基础上提出了多种不同的并行计算技术路线。例如Storm系统是针对“边到达边计算”的实时流计算框架，可在一个时间窗口上对数据流进行在线实时分析，已经在实时广告、微博等系统中得到应用。此外，还出现了将MapReduce内存化以提高实时性的框架，针对大规模图数据进行优化的Pregel系统，等等。
以Hadoop为代表的开源软件大幅度降低数据的存储与计算的成本。传统数据存储和分析的成本约为3万美元/TB，而采用Hadoop技术，成本可以降到300美元\~1000美元/TB。新一代计算平台Spark进一步把Hadoop性能提升了30多倍，性能越来越高，技术门槛越来越低。目前，开源Hadoop和Spark已经形成了比较成熟的产品供应体系，基本上可以满足大部分企业建设大数据存储和分析平台的需求，为企业提供了低成本解决方案。
第3章 数据
115