{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":99,"pdf_page":115,"physical_index":115,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"44da57ad4fdd581eb8ca2561d8d844d401b264d86a35cf841bd44fdab8679af6"},"chapter":"第3章","content":"3.5.4 数据目录\n\n数据目录管理系统应该具备以下的能力（见图3-14）。\n\n1. 数据的连接和发现能力\n\n做大数据分析和AI首先需要清晰地知道我们有哪些数据，通过人工梳理的方式显然已经跟不上数据增长和变化的速度。所以，一个数据目录最基础的能力就是可以连接我们拥有的多种数据源（如HDFS、MySQL、HBase、ORACLE等），并且可以定时地监测新生成的数据，在数据目录中根据规则自动注册为数据集或更新数据集状态(如关系型数据库新产生的表可注册为数据集，HDFS分区格式数据只更新当前数据集的容量大小，等等，一般需要人工辅助审核和修改）。\n\n2. 元数据管理能力\n\n元数据管理能力包括以下三个方面。\n\n数据集基本信息：包括数据集的名称、标签（业务分类）、负责人以及存储详情的变动趋势。\n\n字段描述信息:字段的数据类型、字段的业务类型、字段的描述信息、整个Schema的版本控制。\n\n数据规格：数据资产部门或者数据负责人维护数据说明的页面，包括数据的生成方式、使用范围、注意事项等。提供数据规格的编写能力，方便版本控制，用户可以按照时间线来查询数据规格。\n\n第3章 数据\n\n99","previous_page":98,"next_page":100}