{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":90,"pdf_page":106,"physical_index":106,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"940b32084e59f6be4d25e27d758153c7f118b015a04213c9bad53632322e4684"},"chapter":"第3章","content":"具备数据仓库的实施能力，实施难度的大小更多地取决于业务逻辑的复杂程度，而并非技术上的实现。\n\n(3)灵活性强。数据仓库的建设是透明的，如果需要，可以对仓库的模型、ETL逻辑进行修改，来满足变更的需求。同时，对于上层的分析而言，通过SQL对仓库数据的分析处理具备极强的灵活性。\n\n常规数据仓库的缺点如下。\n\n(1）实施周期相对比较长。实施周期的长与短取决于业务逻辑的复杂性，时间花在业务逻辑的梳理，并非技术的瓶颈上。\n\n（2）数据的处理能力有限。这个有限也是相对的，海量数据的处理肯定不行，非关系型数据的处理也不行，但是太字节（TB）以下级别数据的处理还是可以的（也取决于所采用的数据库系统）。对于这个量级的数据，相当一部分企业的数据其实是很难超过这个级别的。\n\n实时处理的要求是区别大数据应用和传统数据仓库技术的关键差别之一。随着每天创建的数据量爆炸性的增长，就数据保存来说，传统数据库能改进的技术并不大，如此庞大的数据量存储就是传统数据库所面临的非常严峻的问题。\n\n2. MPP(大规模并行处理)架构\n\n传统的数据库模式在海量数据面前显得很弱。造价非常昂贵，同时技术上无法满足高性能的计算，其架构难以扩展，在独立主机的CPU计算和IO吞吐上，都没办法满足海量数据计算的需求。分布式存储和分布式计算正是解决这一问题的关键，无论是MapReduce计算框架(Hadoop)）还是MPP计算框架，都是在这一背景下产生的。\n\nGreenplum是基于MPP架构的，它的数据库引擎是基于PostgreSQL的，并且通过Interconnnect连接实现了对同一个集群中多个PostgreSQL实例的高效协同和并行计算。同时，基于Greenplum的数据平台建设可以实现两个层面的处理：一个是对数据处理性能的提升，目前Greenplum在100TB级左右的数据量上是非常轻松的；另一个是数据仓库可以搭建在Greenplum中，这一层面上也是对业务逻辑的梳理，对公司业务数据的整合。Greenplum的优点如下。\n\n（1）海量数据的支持，存在大量成熟的应用案例。\n\n(2）扩展性：据说可线性扩展到10000个节点，并且每增加一个节点，查询、加载性能都成线性增长。\n\n(3）易用性：不需要复杂的调优需求，并行处理由系统自动完成。依然是SQL作为交互语言，简单、灵活、强大。\n\n(4)高级功能：Greenplum还研发了很多高级数据分析管理功能，例如外部表、Primary/Mirror镜像保护机制、行/列混合存储等。\n\n(5)稳定性：Greenplum原本作为一个纯商业数据产品，具有很长的历史，其稳定性比Hadoop产品更加有保障。Greenplum有非常多的应用案例，纳斯达克、纽约证券交易所、平安银行、建设银行、华为等都建立了基于Greenplum的数据平台。其稳定性是可以从侧面验证的。\n\n人工智能与大数据技术导论\n\n90","previous_page":89,"next_page":91}