人工智能与大数据技术导论

（1）在数据收集方面，大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段，保证数据定义的完整性、数据质量的可靠性尤为必要。

(2）由于规模大，大数据在获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理远远处理不了大数据环境下的数据问题。

(3)由于高速性，数据的大量更新会导致过时数据迅速产生，也更易产生不一致数据。

(4)由于发展迅速、市场庞大、厂商众多、直接产生的数据或者产品产生的数据标准不完善，使得数据有更大的可能产生不一致和冲突。

(5）由于数据生产源头激增、产生的数据来源众多、结构各异，以及系统更新、升级加快和应用技术更新换代频繁，使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象，再加上数据收集与集成往往由多个团队协作完成，增大了数据处理过程中产生问题数据的概率。

因此，我们需要一种数据质量策略，从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面，多方位优化改进，最终形成一套完善的质量管理体系，为信息系统提供高质量的数据支持。

1. 建立数据质量管理策略和评价体系

为了改进和提高数据质量，必须从产生数据的源头开始抓起，从管理入手，对数据运行的全过程进行监控，密切关注数据质量的发展和变化，深入研究数据质量问题所遵循的客观规律，分析其产生的机理，探索科学有效的控制方法和改进措施。必须强化全面数据质量管理的思想观念，把这一观念渗透到数据生命周期的全过程。建立数据质量评价体系，评估数据质量，可以从以下4个方面来考虑。

（1）完整性：数据的记录和信息是否完整，是否存在缺失情况。

(2)一致性：数据的记录是否符合规范，是否与前后及其他数据集保持统一。

（3）准确性：数据中记录的信息和数据是否准确，是否存在异常或者错误信息。

(4）及时性：数据从产生到可以查看的时间间隔，也叫数据的延时时长。

有了评估方向，还需要使用可以量化、程序化识别的指标来衡量。通过量化指标，管理者才可能了解到当前的数据质量，并确定采取修正措施之后数据质量的改进程度。而对于海量数据，数据量大、处理环节多，获取质量指标的工作不可能由人工或简单的程序来完成，而需要程序化的制度和流程来保证，因此指标的设计、采集与计算必须是程序可识别处理的。

完整性可以通过记录数和唯一值来衡量。比如某类交易数据，每天的交易量应该呈现出平稳的特点，平稳增长或保持一定范围内的周期波动。如果记录数量出现激增或激减，就需要追溯是在哪个环节出现了变动，最终定位是数据问题还是服务问题。对于属性的完整性考量，则可以通过空值占比或无效值占比来进行检查。

人工智能与大数据技术导论

94

一致性检验主要是检验数据和数据定义是否一致，因此可以通过合规记录的比率来衡量。比如取值范围是枚举集合的数据，其实际值超出范围之外的数据占比，比如存在特定编码规则的属性值，不符合其编码规则的记录占比。还有一些存在逻辑关系的属性之间的校验，比如属性A取某定值时，属性B的值应该在某个特定的数据范围内，都可以通过合规率来衡量。

准确性可能存在于个别记录，也可能存在于整个数据集上。准确性和一致性的差别在于，一致性关注合规，表示统一，而准确性关注数据错误。因此，同样的数据表现，比如数据的实际值不在定义的范围内，如果定义的范围准确，值完全没有意义，就属于数据错误。但如果值是合理且有意义的，可能是范围定义不够全面，就不能认定为数据错误，而应该去补充修改数据的定义。

通过建立数据质量评价体系，对整个流通链条上的数据质量进行量化指标输出，后续进行问题数据的预警，使得问题一出现就可以暴露出来，便于进行问题的定位和解决，最终可以实现在哪个环节出现问题就在哪个环节解决，避免将问题数据带到后端以及质量问题扩大。

1. 落实数据质量信息的采集、分析与监控

有评价体系作为参照，还需要进行数据的采集、分析和监控，为数据质量提供全面可靠的信息。在数据流转环节的关键点上设置采集点，采集数据质量监控信息，按照评价体系的指标要求输出分析报告。通过对来源数据的质量分析，可以了解数据和评价接入数据的质量，通过对不同采集点的数据分析报告的对比，可以评估数据处理流程的工作质量。配合数据质量的持续改进工作机制，进行质量问题原因的定位、处理和跟踪。

1. 建立数据质量的持续改进工作机制

通过质量评价体系和质量数据采集系统可以发现问题，之后还需要对发现的问题及时做出反应，追溯问题的原因和形成机制，根据问题的种类采取相应的改进措施，并持续跟踪验证改进之后的数据质量提升效果，形成正反馈，达到数据质量持续改良的效果。在源头建立数据标准或接入标准，规范数据定义，在数据流转过程中建立监控数据转换质量的流程和体系，尽量做到在哪里发现问题就在哪里解决问题，不把问题数据带到后端。

导致数据质量产生问题的原因很多。有研究表示，从问题的产生原因和来源，可以分为四大问题域：信息问题域、技术问题域、流程问题域和管理问题域。“信息类问题”是由于对数据本身的描述、理解及度量标准偏差而造成的数据质量问题。产生这类数据质量问题的主要原因包括：数据标准不完善、元数据描述及理解错误、数据质量得不到保证和变化频度不恰当等。“技术类问题”是指由于在数据处理流程中数据流转的各技术环节异常或缺陷而造成的数据质量问题，产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题主要产生在数据创建、数据接入、数据抽取、数据转换、数据装载、数据使用和数据维护等环节。“流程类问题”是指由于数据流转的流程设计不合理、人工操作流程不当造成的数据质量问题。所有涉及数据流转流程的环节都可能出现问题，比如接入新数据缺乏对数据检核、元数据变更没有考虑到历史数据的处理、数据转换不充分等各种流程设计错误、数据处理逻辑有缺陷等问题。“管理类问题”是指由于人员素质及管理机制方面的原因造成的数据质量问题。比如数据接入环节由于工期压力而减少对数据检核流程的执行和监控、缺乏反馈渠道及处理责任人、相关人员缺乏培训等带来的一系列问题。

第3章 数据

95

了解问题产生的原因和来源后，就可以对每一类问题建立起识别、反馈、处理、验证的流程和制度。比如数据标准不完善导致的问题，就需要有一整套数据标准问题识别、标准修正、现场实施和验证的流程，确保问题的准确解决，不带来新的问题。比如缺乏反馈渠道和处理责任人的问题，则属干管理问题，需要建立一套数据质量的反馈和响应机制，配合问题识别、问题处理、解决方案的现场实施与验证、过程和积累等多个环节和流程，保证每一个问题都能得到有效解决并有效积累处理的过程和经验，形成越来越完善的有机运作体。当然，很多问题是相互影响的，单一地解决某一方面的问题可能暂时解决不了所发现的问题，但是当多方面的持续改进机制协同工作起来之后，互相影响，交错前进，一点点改进，最终就会达到一个比较好的效果。

1. 完善元数据管理

数据质量的采集规则和检查规则本身也是一种数据，在元数据中定义。元数据按照官方定义，是描述数据的数据。面对庞大的数据种类和结构，如果没有元数据来描述这些数据，使用者就无法准确地获取所需的信息。正是通过元数据，海量的数据才可以被理解、使用，才会产生价值。

元数据可以按照其用途分为3类：技术元数据、业务元数据和管理元数据。“技术元数据”是存储关于信息系统技术细节的数据，是开发和管理数据而使用的数据。主要包括数据结构的描述，包括对数据结构、数据处理过程的特征描述，存储方式和位置覆盖涉及整个数据的生产和消费环节。“业务元数据”是从业务角度描述数据系统中的数据，提供了业务使用者和实际系统之间的语义层，主要包括业务术语、指标定义、业务规则等信息。“管理元数据”是描述系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责、管理流程等信息。良好的元数据管理系统能为数据质量的采集、分析、监控、改进提供高效、有力的强大保障。同时，良好的数据质量管理系统也能促进元数据管理系统的持续改进，互相促进完善，共同为一个高质量和高效运转的数据平台提供支持。

1. 对不同的数据问题分类处理

从时间维度上分，企业数据主要有三类：未来数据、当前数据和历史数据。在解决不同种类的数据质量问题时，要采取不同的处理方式。

如果你拿着历史数据找业务部门做整改，业务部门通常以“当前的数据问题都处理不过来，哪有时间帮你追查历史数据的问题”为理由无情拒绝。这个时候即便是找领导协调，一般也起不到太大的作用。对于历史数据问题的处理，一般可以发挥IT技术人员的优势，用数据清洗的办法来解决，清洗的过程要综合使用各类数据源，提升历史数据的质量。

当前数据的问题需要从问题定义、问题发现、问题整改、问题跟踪、效果评估5个方面来解决。未来数据的处理一般要采用做数据规划的方法来解决，从整个企业信息化的角度出发，规划统一企业数据架构，制定企业数据标准和数据模型。借业务系统改造或者重建的时机，来从根本上提高数据质量。当然，这种机会是可遇而不可求的，在机会到来之前，应该把企业数据标准和数据模型建立起来，一旦机会出现，就可以遵循这些标准。

人工智能与大数据技术导论

96

总之，通过对不同时期数据的分类处理，采用不同的处理方式做到事前预防、事中监控、事后改善，能从根本上解决数据质量问题，为企业业务创新打通数据关卡。数据质量（DataQuality）管理贯穿数据生命周期的全过程，覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多，数据量在不断加大，新需求推动的新技术也在不断诞生，这些都对大数据下的数据质量管理带来了困难和挑战。因此，数据质量管理要形成完善的体系，建立持续改进的流程和良性机制，持续监控各系统数据质量的波动情况及数据质量的规则分析，适时升级数据质量监控的手段和方法，确保持续掌握系统数据的质量状况，最终达到数据质量的平稳状态，为AI系统提供良好的数据保障。数据质量问题需要业务部门参与才能从根本上解决。要发挥数据资产的价值，需要将组织、技术和流程三者进行有机结合，从业务出发做问题定义，由工具自动、及时发现问题，跟踪问题整改进度，并建立相应的质量问题评估KPI。通过数据质量问题全过程的管理，才能最终实现数据质量持续提升的目标，支撑数据业务应用，体现数据价值。

3.5.3 数据管理

数据管理和数据治理有很多地方是互相重叠的，它们都围绕数据这个领域展开，因此这两个术语经常被混为一谈。此外，每当人们提起数据管理和数据治理的时候，还有一对类似的术语叫信息管理和信息治理，更混淆了人们对它们的理解。关于企业信息管理这个课题，还有许多相关的子集，包括主数据管理、元数据管理、数据生命周期管理等。于是，出现了许多不同的理论描述关于企业中数据/信息的管理以及治理如何运作：它们如何单独运作，又如何一起协同工作，是“自下而上”还是“自上而下”的方法更高效？

1. 数据治理

其实，数据管理包含数据治理，治理是整体数据管理的一部分，这个概念目前已经得到了业界的广泛认同。数据管理包含多个不同的领域，其中一个最显著的领域就是数据治理。CMMI协会颁布的数据管理成熟度（DMM）模型使这个概念具体化。DMM模型中包括6个有效数据管理分类，而其中一个就是数据治理。数据管理协会（DAMA）在数据管理知识体系（DMBOK）中也认为，数据治理是数据管理的一部分。在企业信息管理（EIM）这个定义上，Gartner认为EIM是“在组织和技术的边界上结构化、描述、治理信息资产的一个综合学科”。Gartner这个定义不仅强调了数据/信息管理和治理的紧密关系，也重申了数据管理包含治理这个观点。

在明确数据治理是数据管理的一部分之后，下一个问题就是定义数据管理。数据管理是一个更为广泛的定义，它与任何时间采集和应用数据的可重复流程的方方面面都紧密相关。例如，简单地建立和规划一个数据平台，是数据管理层面的工作。定义谁以及如何访问这个数据平台，并且实施各种各样针对元数据和资源库管理工作的标准，也是数据管理层面的工作。数据管理包含许多不同的领域。

第3章 数据

97

人工智能与大数据技术导论

元数据：元数据要求数据元素和术语的一致性定义，它们通常聚集于业务词汇表上。对于企业而言，建立统一的业务术语非常关键，如果这些术语和上下文不能横跨整个企业的范畴，那么它将会在不同的业务部门中出现不同的表述。

●生命周期管理：数据保存的时间跨度、数据保存的位置以及数据如何使用都会随着时间而产生变化，某些生命周期管理还会受到法律法规的影响。

●数据质量：数据质量的具体措施包括数据详细检查的流程，目的是让业务部门信任这些数据。数据质量是非常重要的。

“引用数据”管理：“引用数据”提供数据的上下文，尤其是它结合元数据一起考虑的情况下。由于引用数据变更的频率较低，引用数据的管理经常会被忽视。

1. 数据建模

数据建模是另一个数据管理中的关键领域。利用一个规范化的数据建模有利于将数据管理工作扩展到其他业务部门。遵从一致性的数据建模，令数据标准变得有价值（特别是应用于大数据和AI）。我们利用数据建模技术直接关联不同的数据管理领域，例如数据血缘关系以及数据质量。当需要合并非结构化数据时，数据建模将会更有价值。此外，数据建模加强了管理的结构和形式。

数据管理在DMM中有5个类型，包括数据管理战略、数据质量、数据操作（生命周期管理）、平台与架构（例如集成和架构标准）以及支持流程。数据管理本身着重提供一整套工具和方法，确保企业实际管理好这些数据。首先是数据标准，有了标准才有数据质量，质量是数据满足业务需求使用的程度。有了标准之后，能够衡量数据，可以在整个平台的每一层做技术上的校验或者业务上的校验，可以做到自动化的配置和相应的校验，生成报告来帮助我们解决问题。有了数据标准，就可以建立数据模型了。数据模型至少包括以下内容：

●数据元（属性）定义。

●数据类（对象）定义。

主数据管理。

大数据对现有数据库管理技术产生了很多挑战。同样，在传统数据库上，创建大数据的数据模型可能会面临很多挑战。经典数据库技术并没有考虑数据的多类别（Variety），也没有考虑非结构化数据的存储问题。一般而言，借助数据建模工作也可以在传统数据库上创建多类别的数据模型，或直接在HBase等大数据数据库系统上创建。

数据模型是分层次的，主要分为三层，基础模型一般用于关系建模，主要实现数据的标准化；融合模型一般用于维度建模，主要实现跨越数据的整合，整合的形式可以是汇总、关联，也包括解析；挖掘模型其实是偏应用的，但如果用的人多了，你也可以把挖掘模型作为企业的知识沉淀到平台，比如某个模型具有很大的共性，就应该把它规整到平台模型，以便开放给其他人使用，这是相对的，没有绝对的标准。

98

3.5.4 数据目录

数据目录管理系统应该具备以下的能力（见图3-14）。

1. 数据的连接和发现能力

做大数据分析和AI首先需要清晰地知道我们有哪些数据，通过人工梳理的方式显然已经跟不上数据增长和变化的速度。所以，一个数据目录最基础的能力就是可以连接我们拥有的多种数据源（如HDFS、MySQL、HBase、ORACLE等），并且可以定时地监测新生成的数据，在数据目录中根据规则自动注册为数据集或更新数据集状态(如关系型数据库新产生的表可注册为数据集，HDFS分区格式数据只更新当前数据集的容量大小，等等，一般需要人工辅助审核和修改）。

1. 元数据管理能力

元数据管理能力包括以下三个方面。

数据集基本信息：包括数据集的名称、标签（业务分类）、负责人以及存储详情的变动趋势。

字段描述信息:字段的数据类型、字段的业务类型、字段的描述信息、整个Schema的版本控制。

数据规格：数据资产部门或者数据负责人维护数据说明的页面，包括数据的生成方式、使用范围、注意事项等。提供数据规格的编写能力，方便版本控制，用户可以按照时间线来查询数据规格。

第3章 数据

99

3.检索筛选和用户自组织能力

检索筛选能力：如果数据目录没有强大的检索能力，系统中数据集的信息和沉淀的相关知识就不能实现其价值，也不能促进系统的良性循环。检索和筛选的内容包括数据集名称、标签、描述、字段相关信息、数据内容、数据规格详情等。

用户自组织数据集的能力：不同用户使用数据集的场景不一样，所以组织方式也会不一样。每个用户可以按照自己的理解和需求组织自己的数据目录，方便用户的使用。同时，不同用户根据不同场景对数据集的组织方式也是一种知识，可以沉淀。

1. 安全和共享能力

权限和审计：为数据集的访问提供权限控制。主要体现在数据集的访问申请和审批上。想要使用数据集的用户可以在系统中申请，访问申请会自动转向数据集所有者(负责人），数据集所有者需要在系统中答复。所有申请和审批都以时间线的方式组织，方便审计人员查阅和检索。所有用户对数据集的操作都需要做记录。

●共享能力：数据集及相关信息分享给使用者，使用者可以看到数据集的元数据等详情。

●开放能力：数据目录应该提供数据集的访问接口，可以支持内部数据探索工具、数据ETL工具的调用，可以支持外部客户的调用和加工。

3.5.5 数据安全管控

如图3-16所示，安全保障体系架构包括安全技术体系和安全管理体系。安全技术体系采取技术手段、策略、组织和运作体系紧密结合的方式，从应用、数据、主机、网络、物理等方面进行信息安全建设。

人工智能与大数据技术导论

100

（1）应用安全，从身份鉴别、访问控制、安全审计、剩余信息保护、通信完整性、通信保密性、抗抵赖、软件容错、资源控制、代码安全等方面进行考虑。

(2）数据安全，从数据属性、空间数据、数据完整性、数据敏感性、数据备份和恢复等方面进行考虑。

(3）主机安全，从身份鉴别、访问控制、安全审计、剩余信息保护、入侵防范、恶意代码防范、资源控制等方面进行考虑。

(4)网络安全，从结构安全、访问控制、安全审计、边界完整性检查、入侵防范、恶意代码防范和网络设备防护等方面进行考虑。

(5）物理安全，是指机房物理环境达到国家信息系统安全和信息安全相关规定的要求。

安全管理体系建设具体包括安全管理制度、安全管理机构、人员安全管理、系统建设管理、系统运维管理等方面的建设。

数据安全管控是整个安全体系框架的一个组成部分，它是从属性数据、空间数据、数据完整性、数据保密性、数据备份和恢复等几方面考虑的。对于一些敏感数据，数据的传输与存储采用不对称加密算法和不可逆加密算法确保数据的安全性、完整性和不可篡改性。对于敏感性极高的空间数据，坐标信息通过坐标偏移、数据加密算法及空间数据分存等方法进行处理。在数据的传输、存储、处理的过程中，使用事务传输机制对数据完整性进行保证，使用数据质量管理工具对数据完整性进行校验，在监测到完整性错误时进行告警，并采用必要的恢复措施。数据的安全机制应至少包含以下4个部分。

（1）身份/访问控制。通过用户认证与授权实现，在授权合法用户进入系统访问数据的同时，保护其免受非授权的访问。在安全管控平台实施集中的用户身份、访问、认证、审计、审查管理，通过动态密码、CA证书等设置认证。

第3章 数据

101

（2）数据加密。在数据传输的过程中，采用对称密钥或VPN隧道等方式进行数据加密，再通过网络进行传输。在数据存储上，对敏感数据先加密后存储。

(3）网络隔离。通过内外网方式保障敏感数据的安全性，即数据传输采用公网，存储采用内网。

（4）灾备管理。通过数据镜像、数据备份、分布式存储等方式实现，保障数据安全。

3.5.6数据准备

如今的数据往往来自文件系统、数据库、数据湖、传感器或外部数据源。为了满足各类数据的AI分析需求，我们必须将所有数据采集，并将各个数据源的数据互相关联整合，比如：

●来自电商平台的数据与客户关系管理中的客户数据集成在一起，以定制营销策略。

●物联网传感器数据与运营和财务数据库中的数据相关联，以控制吞吐量并报告制造过程的质量。

●开发预测模型的数据科学家通常会加载多种外部数据源，例如计量经济学、天气、人口普查和其他公共数据，然后将其与内部资源融合。

●试验人工智能的创新团队需要汇总可用于训练和测试算法的大型复杂数据源。

1. 数据整合工具与平台

那么，用什么工具和做法来整合数据源，什么平台被用来自动化整合数据？主要类型如下：

●编程和脚本完成数据集成。

●提取、转换和加载（ETL）工具。

数据高速公路 SaaS 平台。

●具有数据集成功能的大数据管理平台。

● AI注入数据集成平台。

（1）数据集成编程与脚本

对于工程师来说，将数据从源文件移动到目标文件最常见的方式是开发一个简短的脚本。这些脚本通常以几种模式之一运行：它们可以按照预定义的时间表运行，也可以作为由事件触发的服务运行，或者在满足定义的条件时做出响应。工程师可以从多个来源获取数据，在将数据传送到目标数据源之前加入过滤、清理、验证和数据转换。

脚本是移动数据的快捷方式，但它不是专业级的数据处理方法。要成为生产级的数据处理脚本，需要自动执行处理和传输数据所需的步骤，并处理多种操作需求。例如，若脚本正在处理大量数据，则可能需要使用ApacheSpark或其他并行处理引擎来运行多线程作业。如果输入的数据不干净，程序员应该启用异常处理并在不影响数据流的情况下踢出记录。数据集成脚本通常难以跨多个开发人员进行维护。出干这些原因，具有较大数据集成需求的组织通常不会只用编程和脚本来实现数据集成。

人工智能与大数据技术导论

102

(2)提取、转换与加载工具

自20世纪70年代以来，ETL技术已经出现，IBM、Informatica、微软、Oracle、Talend等公司提供的ETL工具在功能、性能和稳定性方面已经成熟。这些平台提供可视化编程工具，让开发人员能够分解并自动执行从源中提取的数据，执行转换并将数据推送到目标存储库的步骤。由于它们是可视化的，并将数据流分解为原子步骤，与难以解码的脚本相比，管道更易于管理和增强。另外，ETL平台通常提供操作界面来显示数据管道崩溃的位置并提供重启它们的步骤。

多年来，ETL平台增加了许多功能。大多数平台可以处理来自数据库、平面文件和Web服务的数据，无论它们在本地、云中，还是在SaaS数据存储中。它们支持各种数据格式，包括关系数据、XML和JSON等半结构化格式，以及非结构化数据和文档。许多工具使用Spark或其他并行处理引擎来并行化作业。企业级ETL平台通常包括数据质量功能，因此数据可以通过规则或模式进行验证，并将异常发送给数据管理员进行解决。

当数据源持续提供新数据并且目标数据存储的数据结构不会频繁更改时，通常会使用ETL平台。

(3）面向SaaS平台的数据高速公路

是否有更有效的方法从常见数据源中提取数据呢?也许主要数据目标是从Salesforce、Microsoft Dynamics或其他常见CRM程序中提取账户或客户联系人。或者，营销人员希望从GoogleAnalytics等工具中提取网络分析数据。我们应该如何防止SaaS平台成为云中的数据孤岛，并轻松实现双向数据流呢？如果我们已经拥有ETL工具，则需要查看该工具是否提供通用SaaS平台的标准连接器。如果我们没有ETL工具，那么可能需要一个易于使用的工具来构建简单的数据高速公路。

Scribe、Snaplogic和Stitch等数据高速公路工具提供了简单的网络界面，可以连接到常见的数据源，选择感兴趣的领域，执行基本转换，并将数据推送到常用目的地。数据高速公路的另一种形式有助于更接近实时地整合数据。它通过触发器进行操作，因此当源系统中的数据发生更改时，可以将其操作并推送到辅助系统。IFTTT、Workato和Zapier就是这类工具的例子。这些工具对于将单个记录从一个SaaS平台转移到另一个SaaS平台时特别有用。在评估它们时，请考虑它们集成的平台数量、处理逻辑的功能和简单性以及价格。

（4）大数据企业平台与数据集成功能

如果正在Hadoop或其他大数据平台上开发功能，则可以选择：

●开发脚本或使用支持大数据平台的ETL工具作为端点。

●具有ETL、数据治理、数据质量、数据准备和主数据功能的端到端数据管理平台。

许多提供ETL工具的供应商也出售具有这些新型大数据功能的企业平台。还有像Datameer和Unifi这样的新兴平台可以实现自助服务（如数据准备工具），并可以在Hadoop发行版上运行。

第3章 数据

103