{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":80,"pdf_page":96,"physical_index":96,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"59456f36a8b8288e9524ace019ba618a60dd7ce943e5878b0c36893d5d16a563"},"chapter":"第3章","content":"(2）涉及的应用领域：风险管理、反洗钱系统等。利用Hadoop做海量数据的查询系统或者离线的查询系统。比如用户交易记录的查询，甚至是一些离线分析都可以在Hadoop上完成。\n\n（3）涉及的应用领域：用户行为分析及组合式推销。用户行为分析与复杂事务处理提供相应的支撑，比如基于用户位置的变化进行广告投送，进行精准广告的推送，都可以通过Hadoop数据库的海量数据分析功能来完成。\n\n3. 软件厂商\n\nHadoop软件发布版的主要厂商有Cloudera和Hortonworks。Cloudera是被广泛采用的纯Hadoop 软件发布厂商，其核心的开源产品 Cloudera Distribution 包括 Apache Hadoop（CDH），被许多初期采用的公司广泛使用，也在基于Hadoop构建的云/SaaS厂商中非常流行。Cloudera和很多硬件大型IT公司结成了强大的合作伙伴关系。\n\nHortonworks为 Hadoop 生态系统提供专业服务，Yahoo和 Benchmark Capital 在2011 年6月合资创建了Hortonworks。除了进一步开发Apache Hadoop的开源分发以外，Hortonworks也提供Hadoop专业服务，它在整个Hadoop产业中是技术领导者和生态环境的构建者。最近其发布的 Hortonworks Data Platform集成了纯粹的开源 Apache Hadoop 软件。\n\n4. 成功案例\n\nHadoop尤其适合大数据的分析与挖掘。因为从本质上讲，Hadoop提供了在大规模服务器集群中捕捉、组织、搜索、共享以及分析数据的模式，且可以支持多种数据源（结构化、半结构化和非结构化），规模则能够从几十台服务器扩展到上千台服务器。\n\n基于Hadoop的应用目前已经开始遍地开花，尤其是在互联网领域。Yahoo!通过集群运行Hadoop，支持广告系统和Web搜索的研究；Facebook 借助集群运行Hadoop，支持其数据分析和机器学习；搜索引擎公司百度则使用Hadoop进行搜索日志分析和网页的数据挖掘工作；淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。\n\n随着越来越多的传统企业开始关注大数据的价值，Hadoop也开始在传统企业的商业智能或数据分析系统中扮演重要角色。相比传统的基于数据库的商业智能解决方案，Hadoop拥有无以比拟的灵活性优势和成本优势。\n\nHadoop的经典用户有百度、新浪、奇虎、世纪佳缘网、搜狐、优酷、赶集网、爱奇艺视频网站等。\n\n3.4.4 Spark\n\n随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。因此，Hadoop生态系统又发展出以 Spark为代表的新计算框架。相比 MapReduce，Spark速度快，开发简单，并且能够同时兼顾批处理和实时数据分析。\n\nApache Spark是加州大学伯克利分校的AMPLabs开发的开源分布式轻量级通用计算框架，于2014年2月成为Apache的顶级项目。由于Spark基于内存设计，使得它拥有比Hadoop更高的性能，并且对多语言(Scala、Java、Python)提供支持。Spark有点类似HadoopMapReduce框架。Spark拥有HadoopMapReduce所具有的优点，但不同于MapReduce的是，Job中间输出的结果可以保存在内存中，从而不再需要读写HDFS（MapReduce的中间结果要放在文件系统上），因此，在性能上，Spark比MapReduce框架快100倍左右，排序100TB的数据只需要20分钟左右。正是因为Spark主要在内存中执行，所以Spark对内存的要求非常高，一个节点通常需要配置24GB的内存。在业界，我们有时把MapReduce称为批处理计算框架，把Spark称为实时计算框架、内存计算框架或流式计算框架。\n\n人工智能与大数据技术导论\n\n80","previous_page":79,"next_page":81}