硬件设备以并行方式共同处理同一任务。
(2）分布式计算框架（MapReduce）
MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性。MapReduce实现了大规模的计算：应用程序被分割成许多小部分，而每个部分在集群中的节点上并行执行（每个节点处理自己的数据）。
总之，Hadoop是一种分布式系统的平台，通过它可以很轻松地搭建一个高效、高质量的分布式系统。Hadoop的分布式包括两部分：一个是分布式文件系统HDFS；另一个是分布式计算框架，一种编程模型，就是MapReduce，两者缺一不可。用户可以通过MapReduce在Hadoop平台上进行分布式的计算编程。
(3）基于Hadoop的应用生态系统
Hadoop框架包括Hadoop内核、MapReduce、HDFS和Hadoop YARN等。Hadoop也是一个生态系统，在这里面有很多组件。除了HDFS和MapReduce外，还有NoSQL数据库的HBase、数据仓库工具Hive、Pig工作流语言、机器学习算法库Mahout、在分布式系统中扮演重要角色的ZooKeeper、内存计算框架的Spark、数据采集的Flume和Kafka。总之，用户可以在Hadoop平台上开发和部署任何大数据应用程序。
HBase是HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在高性价比的x86服务器上搭建起大规模的结构化存储集群。HBase是Google Bigtable 的开源实现，类似Google Bigtable 利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;谷歌运行 MapReduce来处理 Bigtable中的海量数据，HBase 同样利用 Hadoop MapReduce 来处理 HBase 中的海量数据; Google Bigtable 利用 Chubby作为协同服务，HBase利用ZooKeeper作为对应。
Hadoop应用生态系统的各层系统中，HBase位于结构化存储层，HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算框架，ZooKeeper为HBase提供了稳定服务和Failover机制。
此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变得非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变得非常方便。
- 行业应用
总之，数据处理模式会发生变化，不再是传统的针对每个事务从众多源系统中拉数据，而是由源系统将数据推至HDFS，ETL引擎处理数据，然后保存结果。结果可以将来用Hadoop分析，也可以提交到传统报表和分析工具中分析。经证实，使用Hadoop存储和处理结构化数据可以减少10倍的成本，并可以提升4倍处理速度。以金融行业为例，Hadoop有以下几个方面可以对用户的应用有帮助。
(1）涉及的应用领域：内容管理平台。海量低价值密度的数据存储，可以实现像结构化、半结构化、非结构化数据存储。
第3章 数据
79