奎克的藏经阁 · 原书印刷页

人工智能与大数据技术导论 · 第 97 页

PDF 物理页索引 113 · 第3章

书名
人工智能与大数据技术导论
作者
未记录
印刷页
97
PDF 物理页
113(从 0 开始)
章节
第3章
UUID
cd4f7678-cd9b-4971-bde0-e9ad46a6cc71
来源类型
original_book
页面 SHA-256
7a6d814fb111518a1a07df49e1fd0d5484950470b01832e6bc5829808edac650

总之,通过对不同时期数据的分类处理,采用不同的处理方式做到事前预防、事中监控、事后改善,能从根本上解决数据质量问题,为企业业务创新打通数据关卡。数据质量(DataQuality)管理贯穿数据生命周期的全过程,覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多,数据量在不断加大,新需求推动的新技术也在不断诞生,这些都对大数据下的数据质量管理带来了困难和挑战。因此,数据质量管理要形成完善的体系,建立持续改进的流程和良性机制,持续监控各系统数据质量的波动情况及数据质量的规则分析,适时升级数据质量监控的手段和方法,确保持续掌握系统数据的质量状况,最终达到数据质量的平稳状态,为AI系统提供良好的数据保障。数据质量问题需要业务部门参与才能从根本上解决。要发挥数据资产的价值,需要将组织、技术和流程三者进行有机结合,从业务出发做问题定义,由工具自动、及时发现问题,跟踪问题整改进度,并建立相应的质量问题评估KPI。通过数据质量问题全过程的管理,才能最终实现数据质量持续提升的目标,支撑数据业务应用,体现数据价值。

3.5.3 数据管理

数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。此外,每当人们提起数据管理和数据治理的时候,还有一对类似的术语叫信息管理和信息治理,更混淆了人们对它们的理解。关于企业信息管理这个课题,还有许多相关的子集,包括主数据管理、元数据管理、数据生命周期管理等。于是,出现了许多不同的理论描述关于企业中数据/信息的管理以及治理如何运作:它们如何单独运作,又如何一起协同工作,是“自下而上”还是“自上而下”的方法更高效?

  1. 数据治理

其实,数据管理包含数据治理,治理是整体数据管理的一部分,这个概念目前已经得到了业界的广泛认同。数据管理包含多个不同的领域,其中一个最显著的领域就是数据治理。CMMI协会颁布的数据管理成熟度(DMM)模型使这个概念具体化。DMM模型中包括6个有效数据管理分类,而其中一个就是数据治理。数据管理协会(DAMA)在数据管理知识体系(DMBOK)中也认为,数据治理是数据管理的一部分。在企业信息管理(EIM)这个定义上,Gartner认为EIM是“在组织和技术的边界上结构化、描述、治理信息资产的一个综合学科”。Gartner这个定义不仅强调了数据/信息管理和治理的紧密关系,也重申了数据管理包含治理这个观点。

在明确数据治理是数据管理的一部分之后,下一个问题就是定义数据管理。数据管理是一个更为广泛的定义,它与任何时间采集和应用数据的可重复流程的方方面面都紧密相关。例如,简单地建立和规划一个数据平台,是数据管理层面的工作。定义谁以及如何访问这个数据平台,并且实施各种各样针对元数据和资源库管理工作的标准,也是数据管理层面的工作。数据管理包含许多不同的领域。

第3章 数据

97