(2）涉及的应用领域：风险管理、反洗钱系统等。利用Hadoop做海量数据的查询系统或者离线的查询系统。比如用户交易记录的查询，甚至是一些离线分析都可以在Hadoop上完成。
（3）涉及的应用领域：用户行为分析及组合式推销。用户行为分析与复杂事务处理提供相应的支撑，比如基于用户位置的变化进行广告投送，进行精准广告的推送，都可以通过Hadoop数据库的海量数据分析功能来完成。
- 软件厂商
Hadoop软件发布版的主要厂商有Cloudera和Hortonworks。Cloudera是被广泛采用的纯Hadoop 软件发布厂商，其核心的开源产品 Cloudera Distribution 包括 Apache Hadoop（CDH），被许多初期采用的公司广泛使用，也在基于Hadoop构建的云/SaaS厂商中非常流行。Cloudera和很多硬件大型IT公司结成了强大的合作伙伴关系。
Hortonworks为 Hadoop 生态系统提供专业服务，Yahoo和 Benchmark Capital 在2011 年6月合资创建了Hortonworks。除了进一步开发Apache Hadoop的开源分发以外，Hortonworks也提供Hadoop专业服务，它在整个Hadoop产业中是技术领导者和生态环境的构建者。最近其发布的 Hortonworks Data Platform集成了纯粹的开源 Apache Hadoop 软件。
- 成功案例
Hadoop尤其适合大数据的分析与挖掘。因为从本质上讲，Hadoop提供了在大规模服务器集群中捕捉、组织、搜索、共享以及分析数据的模式，且可以支持多种数据源（结构化、半结构化和非结构化），规模则能够从几十台服务器扩展到上千台服务器。
基于Hadoop的应用目前已经开始遍地开花，尤其是在互联网领域。Yahoo!通过集群运行Hadoop，支持广告系统和Web搜索的研究；Facebook 借助集群运行Hadoop，支持其数据分析和机器学习；搜索引擎公司百度则使用Hadoop进行搜索日志分析和网页的数据挖掘工作；淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。
随着越来越多的传统企业开始关注大数据的价值，Hadoop也开始在传统企业的商业智能或数据分析系统中扮演重要角色。相比传统的基于数据库的商业智能解决方案，Hadoop拥有无以比拟的灵活性优势和成本优势。
Hadoop的经典用户有百度、新浪、奇虎、世纪佳缘网、搜狐、优酷、赶集网、爱奇艺视频网站等。
3.4.4 Spark
随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。因此，Hadoop生态系统又发展出以 Spark为代表的新计算框架。相比 MapReduce，Spark速度快，开发简单，并且能够同时兼顾批处理和实时数据分析。
Apache Spark是加州大学伯克利分校的AMPLabs开发的开源分布式轻量级通用计算框架，于2014年2月成为Apache的顶级项目。由于Spark基于内存设计，使得它拥有比Hadoop更高的性能，并且对多语言(Scala、Java、Python)提供支持。Spark有点类似HadoopMapReduce框架。Spark拥有HadoopMapReduce所具有的优点，但不同于MapReduce的是，Job中间输出的结果可以保存在内存中，从而不再需要读写HDFS（MapReduce的中间结果要放在文件系统上），因此，在性能上，Spark比MapReduce框架快100倍左右，排序100TB的数据只需要20分钟左右。正是因为Spark主要在内存中执行，所以Spark对内存的要求非常高，一个节点通常需要配置24GB的内存。在业界，我们有时把MapReduce称为批处理计算框架，把Spark称为实时计算框架、内存计算框架或流式计算框架。
人工智能与大数据技术导论
80