{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":108,"pdf_page":124,"physical_index":124,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"3562b3cc9c60aa01ed8f0cfa3b27ca090540f57bc47e4909123da33c0a53916a"},"chapter":"第3章","content":"3.5.10 数据平台总结\n\n大数据行业应用持续升温，特别是企业级大数据市场正在进入快速发展时期。越来越多的企业期望实现数据孤岛的打通，整合海量的数据资源，挖掘并沉淀有价值的数据，进而驱动更智能的商业。随着公司数据爆发式增长，原有的数据库无法承担海量数据的处理，那么就开始考虑大数据平台了。大数据平台应该支持大数据常用的Hadoop组件，如HBase、Hive、Flume、Spark，也可以接Greenplum，而Greenplum 正好有它的外部表（也就是 Greenplum创建一张表，表的特性叫作外部表，读取的内容是Hadoop的Hive中的），这可以和Hadoop融合（当然也可以不用外部表）。通过搭建企业级的大数据平台，打通各系统之间的数据，通过多源异构接入多个业务系统的数据，完成对海量数据的整合。大数据采集平台应支持多样数据源，接口丰富，支持文件和关系型数据库等，支持直接跨库跨源的混合计算。\n\n大数据平台实现数据的分层与水平解耦，沉淀公共的数据能力。这可分为三层：数据模型、数据服务与数据开发，通过数据建模实现跨域数据的整合和知识沉淀，通过数据服务实现对于数据的封装和开放，快速、灵活地满足上层应用的要求，通过数据开发工具满足个性化数据和应用的需要。图3-18是某运营商的数据平台。\n\n数据平台还涉及三方面内容。第一是数据技术。大家都有自己的数据中心、机房、小数据库。但当数据积累到一定体量后，这方面的成本会非常高，而且数据之间的质量和标准不一样，会导致效率不高等问题。因此，我们需要通过数据技术对海量数据进行采集、计算、存储、加工，同时统一标准和口径。第二是数据资产。把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而保证为各业务提供高效服务。第三是数据服务，包括指数，就是数据平台面向上端提供的数据服务。\n\n人工智能与大数据技术导论\n\n108","previous_page":107,"next_page":109}