{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":98,"pdf_page":114,"physical_index":114,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"aaffd4a82d34f0e69122ab9d1f8072774e8ea6ee4daa85e1679847dfbe8269a3"},"chapter":"第3章","content":"人工智能与大数据技术导论\n\n元数据：元数据要求数据元素和术语的一致性定义，它们通常聚集于业务词汇表上。对于企业而言，建立统一的业务术语非常关键，如果这些术语和上下文不能横跨整个企业的范畴，那么它将会在不同的业务部门中出现不同的表述。\n\n●生命周期管理：数据保存的时间跨度、数据保存的位置以及数据如何使用都会随着时间而产生变化，某些生命周期管理还会受到法律法规的影响。\n\n●数据质量：数据质量的具体措施包括数据详细检查的流程，目的是让业务部门信任这些数据。数据质量是非常重要的。\n\n“引用数据”管理：“引用数据”提供数据的上下文，尤其是它结合元数据一起考虑的情况下。由于引用数据变更的频率较低，引用数据的管理经常会被忽视。\n\n2. 数据建模\n\n数据建模是另一个数据管理中的关键领域。利用一个规范化的数据建模有利于将数据管理工作扩展到其他业务部门。遵从一致性的数据建模，令数据标准变得有价值（特别是应用于大数据和AI）。我们利用数据建模技术直接关联不同的数据管理领域，例如数据血缘关系以及数据质量。当需要合并非结构化数据时，数据建模将会更有价值。此外，数据建模加强了管理的结构和形式。\n\n数据管理在DMM中有5个类型，包括数据管理战略、数据质量、数据操作（生命周期管理）、平台与架构（例如集成和架构标准）以及支持流程。数据管理本身着重提供一整套工具和方法，确保企业实际管理好这些数据。首先是数据标准，有了标准才有数据质量，质量是数据满足业务需求使用的程度。有了标准之后，能够衡量数据，可以在整个平台的每一层做技术上的校验或者业务上的校验，可以做到自动化的配置和相应的校验，生成报告来帮助我们解决问题。有了数据标准，就可以建立数据模型了。数据模型至少包括以下内容：\n\n●数据元（属性）定义。\n\n●数据类（对象）定义。\n\n主数据管理。\n\n大数据对现有数据库管理技术产生了很多挑战。同样，在传统数据库上，创建大数据的数据模型可能会面临很多挑战。经典数据库技术并没有考虑数据的多类别（Variety），也没有考虑非结构化数据的存储问题。一般而言，借助数据建模工作也可以在传统数据库上创建多类别的数据模型，或直接在HBase等大数据数据库系统上创建。\n\n数据模型是分层次的，主要分为三层，基础模型一般用于关系建模，主要实现数据的标准化；融合模型一般用于维度建模，主要实现跨越数据的整合，整合的形式可以是汇总、关联，也包括解析；挖掘模型其实是偏应用的，但如果用的人多了，你也可以把挖掘模型作为企业的知识沉淀到平台，比如某个模型具有很大的共性，就应该把它规整到平台模型，以便开放给其他人使用，这是相对的，没有绝对的标准。\n\n98","previous_page":97,"next_page":99}