{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":89,"pdf_page":105,"physical_index":105,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"b1439d89b81b82ff2871628e559f19bfff7e3d43a933492e21de8b09392e81a1"},"chapter":"第3章","content":"数据平台通过打通数据通道实现数据汇聚、资源共享，同时提供数据的存储、计算、加工、分析等基础能力。大数据时代的到来，大家开始将数据当成资源，当作资产，数据管理的意义也越来越大。大数据管理平台的建设需要设计以下5个因素。\n\n数据集中和共享。企业及基础数据平台是公共的、中性的，数据一定要做到集中和共享，否则就失去了它的意义。\n\n●数据标准统一。如果每个应用都有自己的一套标准，整个架构会越来越乱。\n\n●数据管理策略统一。方向是共性的数据一定要下沉，个性的数据逐渐上浮，也就是说，共性数据都尽量落在基础数据平台上，个性数据可以逐渐落在各个应用上处理。\n\n减少数据复制。\n\n长期和短期相结合。一个完整的企业级基础数据平台包含几个部分，即数据存储平台(包含相应的数据架构、数据存储策略以及应用切分点等)、应用（包含报表、数据挖掘、系统应用等）、数据管控（包含质量管理办法，比如数据标准等）、数据交换采集调度平台和数据处理（包含实施数据区、大数据处理、历史数据存储等）。这类混合架构既要考虑结构性数据的处理方法，也要考虑非结构化数据的处理和文本等的混合运算方法。这个结构能够帮助我们清晰地看到后续要发展成什么样，我们不一定开始就要完成这样一个体系，但是可以考虑好这些相应的数据项目，包括以后扩展的接口。\n\n3.5.1数据存储和计算\n\n结构化、半结构化、文本、各类传感器的数据，音频、图片、视频等多媒体数据混杂，分别存储在不同的数据库、不同的地域中。如何处理这些数据？没有一个实时计算的数据平台几乎是很难实现的。大数据时代的业务场景是多元化的，不同的数据产品面向的场景很不一样。围绕这些多媒体为存储的核心对象来构建场景，清晰、及时地呈现业务，是非常重要的一项工作。\n\n数据平台建设、部署对数据规范化定义，实现数据的唯一性、准确性、完整性、规范性和实效性，实现数据的共享共用，解决数据层面的孤岛问题。整合企业各个业务系统，形成数据平台。这就要求建立的数据平台能够整合各个业务系统，从物理和逻辑上将数据集中起来，同时数据平台起到了物理隔离生产系统、减轻对生产系统的压力、提升效率的作用。数据平台可以分成以下几类。\n\n1. 常规数据仓库\n\n常规数据仓库的重点在于数据整合，同时也是对业务逻辑的一个梳理。虽然也可以打包成saas（多维数据集）、cube（多维数据库）等来提升数据的读取性能，但是数据仓库的作用更多的是为了解决企业的业务问题，而不仅仅是性能问题。常规数据仓库的优点如下。\n\n（1）方案成熟，关于数据仓库的架构有着非常广泛的应用，而且能将其落地的人也不少。\n\n(2）实施简单，涉及的技术层面主要是仓库的建模以及ETL的处理，很多软件公司\n\n第3章 数据\n\n89","previous_page":88,"next_page":90}