{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":91,"pdf_page":107,"physical_index":107,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"f8cbc7053ae4673b3cc5fe4fc73ebb421d852e6fadfcd6352f873ba2709b40c5"},"chapter":"第3章","content":"Greenplum的缺点如下。\n\n(1）本身来说，它的定位在OLAP领域，不擅长OLTP交易系统。当然，我们搭建的数据中心也不是用来做交易系统的。\n\n(2)成本，有两个方面的考虑，一是硬件成本，Greenplum有其推荐的硬件规格，对内存、网卡都有要求，二是实施成本，这里主要是需要人，从基本的Greenplum的安装配置到Greenplum中数据仓库的构建，都需要人和时间。\n\n(3)技术门槛，这里是相对于数据仓库的，Greenplum的门槛肯定更高一点。\n\n3. Hadoop分布式系统架构\n\nHadoop已经非常火了，Greenplum的开源跟它也是脱不了关系的。它有着高可靠性、高扩展性、高效性、高容错性的口碑。在互联网领域有着非常广泛的运用，雅虎、Facebook、百度、淘宝、京东等都在使用Hadoop。Hadoop生态体系非常庞大，各公司基于Hadoop所实现的也不仅限于数据平台，还包括数据分析、机器学习、数据挖掘、实时系统等。\n\n当企业数据规模达到一定的量级时，Hadoop应该是各大企业的首选方案。到达这样一个层次的时候，企业所要解决的不仅是性能问题，还包括时效问题、更复杂的分析挖掘功能的实现等。非常典型的实时计算体系也与Hadoop这一生态体系有着紧密的联系，比如Spark。近些年来，Hadoop的易用性有了很大的提升，SQL-on-Hadoop技术大量涌现，包括Hive、Impala、SparkSQL等。尽管其处理方式不同，但相比于原始的MapReduce模式，无论是性能还是易用性都有所提高。因此，对MPP产品的市场产生了压力。\n\n对于企业构建数据平台来说，Hadoop的优势与劣势非常明显：优势是它的大数据处理能力、高可靠性、高容错性、开源性以及低成本（处理同样规模的数据，换其他方案试试就知道了）；劣势是它的体系复杂，技术门槛较高（能搞定Hadoop的公司规模一般都不小）。\n\n关于Hadoop的优缺点，对于公司的数据平台选型来说，影响已经不大了。需要使用Hadoop的时候，也没什么其他的方案可选择（要么太贵，要么不行），没达到这个数据量的时候，也没人愿意碰它。总之，不要为了大数据而大数据。\n\nHadoop生态圈提供海量数据的存储和计算平台，包括以下几种。\n\n●结构化数据：海量数据的查询、统计、更新等操作。\n\n●非结构化数据：图片、视频、Word、PDF、PPT等文件的存储和查询。\n\n●半结构化数据：要么转换为结构化数据存储，要么按照非结构化存储。\n\nHadoop的解决方案如下。\n\n存储：HDFS、HBase、Hive等。\n\n并行计算：MapReduce 技术。\n\n流计算：Storm、Spark。\n\n如何选择基础数据平台？我们至少要从以下几个方面去考虑。\n\n（1）目的：从业务、系统、性能三种视角去考虑，或者是其中几个的组合。当然，要明确数据平台建设的目的，有时并不容易，初衷与讨论后确认的目标或许是不一致的。比如，某企业要搭建一个数据平台的初衷可能很简单，只是为了减轻业务系统的压力，将数据拉出来后再分析，如果目的真的这么单纯，而且只有一个独立的系统，那么直接将业务系统的数据库复制一份就好了，不需要建立数据平台；如果是多系统，选型一些商业数据产品也够了，快速建模，直接用工具就能实现数据的可视化与OLAP分析。但是，既然已经决定要将数据平台独立出来，就不再多考虑一点吗？多个业务系统的数据不趁机梳理整合一下？当前只是分析业务数据的需求，以后会不会考虑历史数据呢？方案能否支撑明年和后年的需求？\n\n第3章 数据\n\n91","previous_page":90,"next_page":92}