奎克的藏经阁 · 原书印刷页

人工智能与大数据技术导论 · 第 96 页

PDF 物理页索引 112 · 第3章

书名
人工智能与大数据技术导论
作者
未记录
印刷页
96
PDF 物理页
112(从 0 开始)
章节
第3章
UUID
cd4f7678-cd9b-4971-bde0-e9ad46a6cc71
来源类型
original_book
页面 SHA-256
9c708150ab789194110f370d8cb74e3daa46444b0de820af874b7791eee067b7

了解问题产生的原因和来源后,就可以对每一类问题建立起识别、反馈、处理、验证的流程和制度。比如数据标准不完善导致的问题,就需要有一整套数据标准问题识别、标准修正、现场实施和验证的流程,确保问题的准确解决,不带来新的问题。比如缺乏反馈渠道和处理责任人的问题,则属干管理问题,需要建立一套数据质量的反馈和响应机制,配合问题识别、问题处理、解决方案的现场实施与验证、过程和积累等多个环节和流程,保证每一个问题都能得到有效解决并有效积累处理的过程和经验,形成越来越完善的有机运作体。当然,很多问题是相互影响的,单一地解决某一方面的问题可能暂时解决不了所发现的问题,但是当多方面的持续改进机制协同工作起来之后,互相影响,交错前进,一点点改进,最终就会达到一个比较好的效果。

  1. 完善元数据管理

数据质量的采集规则和检查规则本身也是一种数据,在元数据中定义。元数据按照官方定义,是描述数据的数据。面对庞大的数据种类和结构,如果没有元数据来描述这些数据,使用者就无法准确地获取所需的信息。正是通过元数据,海量的数据才可以被理解、使用,才会产生价值。

元数据可以按照其用途分为3类:技术元数据、业务元数据和管理元数据。“技术元数据”是存储关于信息系统技术细节的数据,是开发和管理数据而使用的数据。主要包括数据结构的描述,包括对数据结构、数据处理过程的特征描述,存储方式和位置覆盖涉及整个数据的生产和消费环节。“业务元数据”是从业务角度描述数据系统中的数据,提供了业务使用者和实际系统之间的语义层,主要包括业务术语、指标定义、业务规则等信息。“管理元数据”是描述系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责、管理流程等信息。良好的元数据管理系统能为数据质量的采集、分析、监控、改进提供高效、有力的强大保障。同时,良好的数据质量管理系统也能促进元数据管理系统的持续改进,互相促进完善,共同为一个高质量和高效运转的数据平台提供支持。

  1. 对不同的数据问题分类处理

从时间维度上分,企业数据主要有三类:未来数据、当前数据和历史数据。在解决不同种类的数据质量问题时,要采取不同的处理方式。

如果你拿着历史数据找业务部门做整改,业务部门通常以“当前的数据问题都处理不过来,哪有时间帮你追查历史数据的问题”为理由无情拒绝。这个时候即便是找领导协调,一般也起不到太大的作用。对于历史数据问题的处理,一般可以发挥IT技术人员的优势,用数据清洗的办法来解决,清洗的过程要综合使用各类数据源,提升历史数据的质量。

当前数据的问题需要从问题定义、问题发现、问题整改、问题跟踪、效果评估5个方面来解决。未来数据的处理一般要采用做数据规划的方法来解决,从整个企业信息化的角度出发,规划统一企业数据架构,制定企业数据标准和数据模型。借业务系统改造或者重建的时机,来从根本上提高数据质量。当然,这种机会是可遇而不可求的,在机会到来之前,应该把企业数据标准和数据模型建立起来,一旦机会出现,就可以遵循这些标准。

人工智能与大数据技术导论

96