3.5.4 数据目录
数据目录管理系统应该具备以下的能力（见图3-14）。
- 数据的连接和发现能力
做大数据分析和AI首先需要清晰地知道我们有哪些数据，通过人工梳理的方式显然已经跟不上数据增长和变化的速度。所以，一个数据目录最基础的能力就是可以连接我们拥有的多种数据源（如HDFS、MySQL、HBase、ORACLE等），并且可以定时地监测新生成的数据，在数据目录中根据规则自动注册为数据集或更新数据集状态(如关系型数据库新产生的表可注册为数据集，HDFS分区格式数据只更新当前数据集的容量大小，等等，一般需要人工辅助审核和修改）。
- 元数据管理能力
元数据管理能力包括以下三个方面。
数据集基本信息：包括数据集的名称、标签（业务分类）、负责人以及存储详情的变动趋势。
字段描述信息:字段的数据类型、字段的业务类型、字段的描述信息、整个Schema的版本控制。
数据规格：数据资产部门或者数据负责人维护数据说明的页面，包括数据的生成方式、使用范围、注意事项等。提供数据规格的编写能力，方便版本控制，用户可以按照时间线来查询数据规格。
第3章 数据
99