Greenplum的缺点如下。
(1)本身来说,它的定位在OLAP领域,不擅长OLTP交易系统。当然,我们搭建的数据中心也不是用来做交易系统的。
(2)成本,有两个方面的考虑,一是硬件成本,Greenplum有其推荐的硬件规格,对内存、网卡都有要求,二是实施成本,这里主要是需要人,从基本的Greenplum的安装配置到Greenplum中数据仓库的构建,都需要人和时间。
(3)技术门槛,这里是相对于数据仓库的,Greenplum的门槛肯定更高一点。
- Hadoop分布式系统架构
Hadoop已经非常火了,Greenplum的开源跟它也是脱不了关系的。它有着高可靠性、高扩展性、高效性、高容错性的口碑。在互联网领域有着非常广泛的运用,雅虎、Facebook、百度、淘宝、京东等都在使用Hadoop。Hadoop生态体系非常庞大,各公司基于Hadoop所实现的也不仅限于数据平台,还包括数据分析、机器学习、数据挖掘、实时系统等。
当企业数据规模达到一定的量级时,Hadoop应该是各大企业的首选方案。到达这样一个层次的时候,企业所要解决的不仅是性能问题,还包括时效问题、更复杂的分析挖掘功能的实现等。非常典型的实时计算体系也与Hadoop这一生态体系有着紧密的联系,比如Spark。近些年来,Hadoop的易用性有了很大的提升,SQL-on-Hadoop技术大量涌现,包括Hive、Impala、SparkSQL等。尽管其处理方式不同,但相比于原始的MapReduce模式,无论是性能还是易用性都有所提高。因此,对MPP产品的市场产生了压力。
对于企业构建数据平台来说,Hadoop的优势与劣势非常明显:优势是它的大数据处理能力、高可靠性、高容错性、开源性以及低成本(处理同样规模的数据,换其他方案试试就知道了);劣势是它的体系复杂,技术门槛较高(能搞定Hadoop的公司规模一般都不小)。
关于Hadoop的优缺点,对于公司的数据平台选型来说,影响已经不大了。需要使用Hadoop的时候,也没什么其他的方案可选择(要么太贵,要么不行),没达到这个数据量的时候,也没人愿意碰它。总之,不要为了大数据而大数据。
Hadoop生态圈提供海量数据的存储和计算平台,包括以下几种。
●结构化数据:海量数据的查询、统计、更新等操作。
●非结构化数据:图片、视频、Word、PDF、PPT等文件的存储和查询。
●半结构化数据:要么转换为结构化数据存储,要么按照非结构化存储。
Hadoop的解决方案如下。
存储:HDFS、HBase、Hive等。
并行计算:MapReduce 技术。
流计算:Storm、Spark。
如何选择基础数据平台?我们至少要从以下几个方面去考虑。
(1)目的:从业务、系统、性能三种视角去考虑,或者是其中几个的组合。当然,要明确数据平台建设的目的,有时并不容易,初衷与讨论后确认的目标或许是不一致的。比如,某企业要搭建一个数据平台的初衷可能很简单,只是为了减轻业务系统的压力,将数据拉出来后再分析,如果目的真的这么单纯,而且只有一个独立的系统,那么直接将业务系统的数据库复制一份就好了,不需要建立数据平台;如果是多系统,选型一些商业数据产品也够了,快速建模,直接用工具就能实现数据的可视化与OLAP分析。但是,既然已经决定要将数据平台独立出来,就不再多考虑一点吗?多个业务系统的数据不趁机梳理整合一下?当前只是分析业务数据的需求,以后会不会考虑历史数据呢?方案能否支撑明年和后年的需求?
第3章 数据
91