{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":79,"pdf_page":95,"physical_index":95,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"2d14d2ef96f699f000817958d162938ab96c613b3151acb795d6dee4602fc628"},"chapter":"第3章","content":"硬件设备以并行方式共同处理同一任务。\n\n(2）分布式计算框架（MapReduce）\n\nMapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性。MapReduce实现了大规模的计算：应用程序被分割成许多小部分，而每个部分在集群中的节点上并行执行（每个节点处理自己的数据）。\n\n总之，Hadoop是一种分布式系统的平台，通过它可以很轻松地搭建一个高效、高质量的分布式系统。Hadoop的分布式包括两部分：一个是分布式文件系统HDFS；另一个是分布式计算框架，一种编程模型，就是MapReduce，两者缺一不可。用户可以通过MapReduce在Hadoop平台上进行分布式的计算编程。\n\n(3）基于Hadoop的应用生态系统\n\nHadoop框架包括Hadoop内核、MapReduce、HDFS和Hadoop YARN等。Hadoop也是一个生态系统，在这里面有很多组件。除了HDFS和MapReduce外，还有NoSQL数据库的HBase、数据仓库工具Hive、Pig工作流语言、机器学习算法库Mahout、在分布式系统中扮演重要角色的ZooKeeper、内存计算框架的Spark、数据采集的Flume和Kafka。总之，用户可以在Hadoop平台上开发和部署任何大数据应用程序。\n\nHBase是HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在高性价比的x86服务器上搭建起大规模的结构化存储集群。HBase是Google Bigtable 的开源实现，类似Google Bigtable 利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;谷歌运行 MapReduce来处理 Bigtable中的海量数据，HBase 同样利用 Hadoop MapReduce 来处理 HBase 中的海量数据; Google Bigtable 利用 Chubby作为协同服务，HBase利用ZooKeeper作为对应。\n\nHadoop应用生态系统的各层系统中，HBase位于结构化存储层，HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算框架，ZooKeeper为HBase提供了稳定服务和Failover机制。\n\n此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变得非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变得非常方便。\n\n2. 行业应用\n\n总之，数据处理模式会发生变化，不再是传统的针对每个事务从众多源系统中拉数据，而是由源系统将数据推至HDFS，ETL引擎处理数据，然后保存结果。结果可以将来用Hadoop分析，也可以提交到传统报表和分析工具中分析。经证实，使用Hadoop存储和处理结构化数据可以减少10倍的成本，并可以提升4倍处理速度。以金融行业为例，Hadoop有以下几个方面可以对用户的应用有帮助。\n\n(1）涉及的应用领域：内容管理平台。海量低价值密度的数据存储，可以实现像结构化、半结构化、非结构化数据存储。\n\n第3章 数据\n\n79","previous_page":78,"next_page":80}