（1）数据来源渠道多，责任不明确。
（2）业务需求不清晰，数据填报缺失。
(3）ETL处理过程中，业务部门变更代码导致数据加工出错，影响报表的生成。
（1）和（2）都是业务的问题，（3）虽然表面上看是技术的问题，但本质上还是业务的问题。因此，大部分数据质量问题主要还是来自于业务。很多企业认识不到数据质量问题的根本原因，只从技术单方面来解决数据问题，没有形成管理机制，导致效果大打折扣。在走过弯路之后，很多企业认识到了这一点，开始从业务着手解决数据质量问题。在治理数据质量问题时，采用规划顶层设计，制定统一数据架构、数据标准，设计数据质量的管理机制，建立相应的组织架构和管理制度，采用分类处理的方式持续提升数据质量。还有，通过增加ETL数据清洗处理逻辑的复杂度，提高ETL处理的准确度。
- AI系统本身的数据质量
在大数据时代，信息由数据构成，数据是信息的基础，数据已经成为一种重要资源。数据质量成为决定资源优劣的一个重要方面。随着大数据的发展，越来越丰富的数据给数据质量的提升带来了新的挑战和困难。对于企业而言，进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等都需要进行数据的搜集、分析、知识发现，为决策者提供充足且准确的情报和资料。对于政府而言，进行社会管理和公共服务影响面更为宽广和深远，政策和服务能否满足社会需要，是否高效地使用了公共资源，都需要数据提供支持和保障，因而对数据的需求显得更为迫切，对数据质量的要求也更为苛刻。
数据作为AI系统的重要构成部分，数据质量问题是影响AI系统运行的关键因素，直接关系到AI系统建设的成败。根据“垃圾进，垃圾出（garbage in，garbage out）”的原理，为了使AI建设取得预期效果，达到数据决策的目标，要求所提供的数据是可靠的，能够准确反应客观事实。如果数据质量得不到保证，即使AI分析工具再先进，模型再合理，算法再优良，在充满“垃圾”的数据环境中也只能得到毫无意义的垃圾信息。系统运行的结果、做出的分析就可能是错误的，其至影响后续决策的制定和实行。高质量的数据来源于数据收集，是数据设计以及数据分析、评估、修正等环节的强力保证。因此，对于AI而言，数据质量管理尤为重要，这就需要建立一个有效的数据质量管理体系，尽可能全面地发现数据存在的问题并分析原因，以推动数据质量的持续改进。
- 大数据环境下数据质量管理面临的挑战
随着移动互联网、云计算、物联网的快速发展，数据的生产者、生产环节都在急速攀升，随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天，越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛，每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品，每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计，到2020年则高达35.2ZB。此外，随着移动互联网、Web2.0技术和电子商务技术的飞速发展，大量的多媒体内容在呈指数级增长的数据量中发挥着重要作用。大数据时代的数据与传统数据呈现出了重大差别，直接影响到数据在流转环节中的各个方面，给数据存储处理分析性能、数据质量保障都带来了很大挑战，这更容易产生数据质量问题。
第3章 数据
93