人工智能与大数据技术导论

(5)AI驱动型数据集成平台

一些下一代数据集成工具将包括人工智能功能，以帮助自动化重复性任务或识别难以找到的数据模式。例如，Informatica提供了智能数据平台Claire，而Snaplogic正在营销Iris，它“推动自我驱动整合”。

1. ETL

ETL就是对数据的合并、清理和整合。通过转换可以实现不同的源数据在语义上的一致性。数据采集平台主要是ETL，它是数据处理的第一步，一切的开端。有数据库就会有数据，就需要采集。在数据挖掘的范畴中，数据清洗的前期过程可简单地认为是ETL的过程。ETL伴随着数据挖掘发展至今，其相关技术也已非常成熟。

(1） 概念

ETL是Extract（提取）、Transform（转换）、Load（加载）三个单词的首字母。ETL负责将分散的、异构数据源中的数据（如关系数据库数据、平面数据文件等）抽取到临时中间层后，进行清洗、转换和集成，最后加载到大数据平台中，成为为分析处理、数据挖掘提供决策支持的数据。

ETL是构建大数据平台重要的一环，用户从数据源抽取所需的数据，经过数据清洗，最终按照预先定义好的数据模型将数据加载到大数据平台中。ETL技术已发展得相当成熟，似乎并没有什么深奥之处，但在实际的项目中，却常常在这个环节上耗费太多的人力，而在后期的维护上，往往更费脑筋。导致上面的原因往往是在项目初期没有正确地估计ETL的工作，没有认真地考虑其与工具支撑有很大的关系。

在做ETL产品选型的时候，仍然必不可少地要考虑4点：成本、人员经验、案例和技术支持。ETL工具包括Datastage、Powercenter、Kettle等。在实际ETL工具应用的对比上，对元数据的支持、对数据质量的支持、维护的方便性、对定制开发功能的支持等方面是我们选择的切入点。一个项目，从数据源到最终目标平台，多则达上百个ETL过程，少则也有十几个。这些过程之间的依赖关系、出错控制以及恢复的流程处理都是工具所需要重点考虑的内容。

(2) 过程

在整个数据平台的构建中，ETL工作占整个工作的50%\~70%。要求的第一点就是，团队协作性要好。ETL包含E、T、L，还有日志的控制、数据模型、数据验证、数据质量等方面。例如，我们要整合一个企业亚太区的数据，但是每个国家都有自己的数据源，有的是ERP，有的是Access，而且数据库都不一样，要考虑网络的性能问题，如果直接用JDBC连接两地的数据源，这样的做法显然是不合理的，因为网络不好，经常连接，很容易导致数据库连接不能释放导致死机。如果我们在各地区的服务器放置一个数据导出为Access或者文件的程序，这样文件就可以比较方便地通过FTP的方式进行传输。下面我们指出上述案例需要做的几项工作。

①有人写一个通用的数据导出工具，可以用Java、脚本或其他的工具，总之要通用，可以通过不同的脚本文件来控制，使各地区的不同数据库导出的文件格式是一样的。而且还可以

人工智能与大数据技术导论

104

实现并行操作。

②有人写FTP的程序，可以用BAT、ETL工具或其他的方式，总之要准确，而且方便调用和控制。

③有人设计数据模型，包括在1之后导出的结构。

④有人写SP，包括ETL中需要用到的SP和日常维护系统的SP，比如检查数据质量之类的。

⑤有人分析源数据，包括表结构、数据质量、空值和业务逻辑。

⑥有人负责开发流程，包括实现各种功能，还有日志的记录，等等。

⑦有人测试真正好的ETL，都是团队来完成的，一个人的力量是有限的。

(3) ETL 处理步骤

主要从E、T、L和异常处理简单地说明。

①数据清洗

数据补缺：对空数据、缺失数据进行数据补缺操作，无法处理的做标记。

●数据替换：对无效数据进行数据的替换。

●格式规范化：将源数据抽取的数据格式转换成为目标数据格式。

●主外键约束：通过建立主外键约束，对非法数据进行数据替换或导出到错误文件重新处理。

②数据转换

数据合并：多用表关联实现，大小表关联用lookup，大大表相交用join（每个字段加索引，保证关联查询的效率）。

● 数据拆分：按一定规则进行数据拆分。

●行列互换、排序/修改序号、去除重复记录。

数据验证：loolup、sum、count。

实现方式包含两种，一种是在ETL引擎中进行的（SQL无法实现的）；另一种是在数据库中进行的（SQL可以实现的）。

③数据加载

时间戳方式：在业务表中统一添加字段作为时间戳，当业务系统修改业务数据时，同时修改时间戳字段值。

●日志表方式：在业务系统中添加日志表，业务数据发生变化时，更新维护日志表的内容。

●全表对比方式：抽取所有源数据，在更新目标表之前先根据主键和字段进行数据比对，有更新的进行 update或insert。

●全表删除插入方式：删除目标表数据，将源数据全部插入。

第3章 数据

105

人工智能与大数据技术导论

④异常处理

在ETL的过程中，面临数据异常的问题不可避免，处理办法为：

●将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载。或者中断ETL，修改后重新执行ETL。原则是最大限度地接收数据。

●对于网络中断等外部原因造成的异常，设定尝试次数或尝试时间，超数或超时后，由外部人员手工干预。

●诸如源数据结构改变、接口改变等异常状况，应进行同步后，再装载数据。

ETL不是想象中的一蹴而就，在实际过程中，你会遇到各种各样的问题，甚至是部门之间沟通的问题。给它定义到占据整个项目50%\~70%是不足为过的。

如图3-17所示是一个大数据采集平台，提供数据获取、清理、更换和存储数据。该平台允许访问不同的数据源，让不同的采集任务可以同时访问多个数据源。它可以追踪采集过程中的每个步骤。该产品既可以作为云服务部署来确保数据准备的灵活性，也可以作为内部部署的解决方案，可以整合到Hadoop、数据库和各种报表呈现工具中，以更快获取价值。

总之，大数据现在是一个热门话题，但企业和IT领导者需要明白，分析糟糕的数据意味着糟糕的分析结果，可能会造成错误的商业决策。正因为如此，读者一定要高度重视数据准备。在大数据平台建设中，推进数据标准体系建设，制定有关大数据的数据采集、数据开放、分类目录和关键技术等标准，推动标准符合性评估。要加大标准实施力度，完善标准服务、评测、监督体系，坚持标准先行。

1. 数据profile能力

数据的 profile能力包括：

106

●数据集的条数、空值等。

针对枚举字段枚举值的统计，针对数据类型字段数值分布范围的统计。

●用户自定义策略的统计。提供用户自定义界面，可以组合各种规则统计数据集中满足条件的数据条数。

●针对各类指标的时序可视化展示。数据profile有了时序的概念，才能做一些数据趋势的分析，以及监控和报警。

数据平台应该可灵活配置数据集profile的计算频率。对于不同的数据集，数据量差距很大。针对一个小表，数据集的profile可能秒出，大库大表的数据集的profile只能定时运行了。

3.5.7 数据整合

数据整合是对导入的各类源数据进行整合，新进入的源数据匹配到平台上的标准数据，或者成为系统中新的标准数据。数据整合工具对数据关联关系进行设置。经过整合的源数据实现了基本信息的唯一性，同时又保留了与原始数据的关联性。具体功能包括关键字匹配、自动匹配、新增标准数据和匹配质量校验4个模块。有时，需要对标准数据列表中的重复数据进行合并，在合并时保留一个标准源。对一些拥有上下级关联的数据，对它们的关联关系进行管理设置。

数据质量校验包括数据导入质量校验和数据整合质量校验两个部分，数据导入质量校验的工作过程是通过对原始数据与平台数据从数量一致性、重点字段一致性等方面进行校验，保证数据从源库导入平台前后的一致性;数据整合质量校验的工作是对经过整合匹配后的数据进行质量校验，保证匹配数据的准确性，比如通过SQL脚本进行完整性校验。

数据整合往往涉及多个整合流程，所以数据平台一般具有BPM引擎，能够对整合流程进行配置、执行和监控。

3.5.8 数据服务

将数据模型按照应用要求做了服务封装，就构成了数据服务，这个跟业务系统中的服务概念是完全相同的，只是数据封装比一般的功能封装要难一点。随着企业大数据运营的深入，各类大数据应用层出不穷，对于数据服务的需求非常迫切，大数据如果不服务化，就无法规模化，比如某移动运营商封装了客户洞察、位置洞察、营销管理、终端洞察、金融征信等各种服务共计几百个，每月调用量超过亿次，灵活地满足了内外大数据服务的要求。

数据服务往往需要运行在企业服务总线（Enterprise Service Bus，ESB）之上。ESB基于SOA构建，完成数据服务的释放、监控、统计和审计。除了直接访问数据的服务之外，数据服务还可能包括数据处理服务、数据统计和分析服务（比如TopN排行榜）、数据挖掘服务(比如关联规则分析、分类、聚类）和预测服务（比如预测模型和机器学习后的结果数据）。有时，算法服务也属于数据服务的一种类型。

3.5.9数据开发

有了数据模型和数据服务还是远远不够的，因为再好的现成数据和服务也往往无法满足前端个性化的要求，数据平台的最后一层就是数据开发，其按照开发难度也分为三个层次，最简单的是提供标签库，比如，用户可以基于标签的组装快速形成营销客户群，一般面向业务人员；其次是提供数据开发平台，用户可以基于该平台访问所有的数据并进行可视化开发，一般面向SQL开发人员；最后就是提供应用环境和组件，比如页面组件、可视化组件等，让技术人员可以自主打造个性化数据产品，以上层层递进，满足不同层次人员的要求。

第3章 数据

107

3.5.10 数据平台总结

大数据行业应用持续升温，特别是企业级大数据市场正在进入快速发展时期。越来越多的企业期望实现数据孤岛的打通，整合海量的数据资源，挖掘并沉淀有价值的数据，进而驱动更智能的商业。随着公司数据爆发式增长，原有的数据库无法承担海量数据的处理，那么就开始考虑大数据平台了。大数据平台应该支持大数据常用的Hadoop组件，如HBase、Hive、Flume、Spark，也可以接Greenplum，而Greenplum 正好有它的外部表（也就是 Greenplum创建一张表，表的特性叫作外部表，读取的内容是Hadoop的Hive中的），这可以和Hadoop融合（当然也可以不用外部表）。通过搭建企业级的大数据平台，打通各系统之间的数据，通过多源异构接入多个业务系统的数据，完成对海量数据的整合。大数据采集平台应支持多样数据源，接口丰富，支持文件和关系型数据库等，支持直接跨库跨源的混合计算。

大数据平台实现数据的分层与水平解耦，沉淀公共的数据能力。这可分为三层：数据模型、数据服务与数据开发，通过数据建模实现跨域数据的整合和知识沉淀，通过数据服务实现对于数据的封装和开放，快速、灵活地满足上层应用的要求，通过数据开发工具满足个性化数据和应用的需要。图3-18是某运营商的数据平台。

数据平台还涉及三方面内容。第一是数据技术。大家都有自己的数据中心、机房、小数据库。但当数据积累到一定体量后，这方面的成本会非常高，而且数据之间的质量和标准不一样，会导致效率不高等问题。因此，我们需要通过数据技术对海量数据进行采集、计算、存储、加工，同时统一标准和口径。第二是数据资产。把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而保证为各业务提供高效服务。第三是数据服务，包括指数，就是数据平台面向上端提供的数据服务。

人工智能与大数据技术导论

108

数据平台应确保大家在使用数据的过程中，口径、标准、时效性、效率都有保障，能有更高的可靠性和稳定性。

3.6 大数据的商用途径

前面阐述了大数据相关的定义与相关技术，那么大数据怎么转变为商业价值呢？下面我们从数据使用的几个层面来描述。

3.6.1 数据化

首先必须有数据，就是大数据的采集与存储。很多时候，如果我们连数据都没有，大数据只能是空中楼阁。所以，一个想要做大数据的政府部门或企业，必须先想办法拥有数据，或者采集、爬取、购买数据。

其次是数据互通互联。比如一个企业内部存在很多信息孤岛，信息孤岛之间必须打通，形成统一的大数据平台。最好的办法其实就是企业建立一个统一的大数据平台，当所有的数据上传到这个大数据平台后，数据自然就打通了。互联其实就是数据的标准，如果想让不同的数据源可以相互关联，形成更大的效应，就得有数据标准。数据标准不仅仅可以指导ETL过程中的数据清洗、数据校验，好的数据标准还可以使得无线的数据跟PC的数据相互关联互通，甚至企业之间的数据关联互通。

这些过程可以称为数据化的过程，也就是大数据的基本要素—数据的形成。

3.6.2算法化

有了数据，就可以加工使用了。严格意义上说，是指采用大数据的相关技术对大数据进行加工、分析，并最终创造商业价值的过程。在这个过程中，最核心的就是算法。我们提到算法时，往往也会谈到引擎，仅仅提引擎一词，更多想到的可能是汽车的发动机。汽车引擎无论多复杂，其实输入、输出是很简单的，需要的是汽油+空气，输出动力（汽油的能量）。大数据的引擎可能是一组算法的封装，数据就是输入的汽油，通过引擎的转换输出数据中的能量，提供给更上层的数据产品或者服务，从而产生商业价值。

算法是“机器学习”的核心，机器学习又是“人工智能”的核心，是使计算机具有智能的根本途径。在过去10年里，机器学习促成了无人驾驶车、高效语音识别、精确网络搜索及人类基因组认知的大力发展。从根本上来说，数据是不会说话的，只有数据没有任何价值。如果拥有大量的数据，而不知道怎么使用，就好像“坐在金山上要饭”。算法其实指的是如何在业务过程中有效利用数据。在不远的未来，所有业务都将成为算法业务，算法才是真正打开数据价值的密钥。当算法迭代优化时，决定其方向的不仅是数据本身的特性，更包含我们对业务本质的理解和创造新业务。这就是我们称算法为“引擎”而非“工具”的关键理由，它是智能的核心。基于数据和算法，完成“机器学习”，实现“人工智能”。

第3章 数据

109

3.6.3应用化（产品化）

把用户、数据和算法巧妙地连接起来的是数据应用（或数据产品），这也是大数据时代特别强调数据产品重要性的根本原因。最终，大数据的成功最关键的一步往往是一个极富想象力的创新应用。智能化数据产品的要求是非常高的，不仅仅是与最终用户形成个性化、智能化的交互，而且还要有完好的用户体验与突破的技术创新。比如金融行业的“秒贷”，就是基于算法的数据智能实时发挥作用，最终实现秒级放贷，这个是传统的金融服务没法想象的。这样的智能商业才是对传统商业的颠覆。

比如，大数据营销是一个热门的大数据应用。对于多数企业而言，大数据营销的主要价值源于以下几个方面。

● 市场预测与决策分析支持

数据对市场预测及决策分析的支持，早就在数据分析与数据挖掘盛行的年代被提出过。沃尔玛著名的“啤酒与尿布”案例就是那个时候的杰作。只是由于大数据时代上述Volume（规模大）及Variety（类型多）对数据分析与数据挖掘提出了新要求。更全面、速度更及时的大数据必然对市场预测及决策分析上一个台阶提供更好的支撑。要知道，似是而非或错误的、过时的数据对决策者而言简直就是灾难。

● 发现新市场与新趋势

基于大数据的分析与预测，对于企业家洞察新市场与把握经济走向都是极大的支持。例如，微软研究院通过大数据分析对奥斯卡各奖项的归属进行了预测，除最佳导演外，其他各项奖的预测全部命中。

● 客户分级管理支持

面对日新月异的新媒体，许多企业想通过对粉丝的公开内容和互动记录的分析，将粉丝转化为潜在用户，激活社会化资产价值，并对潜在用户进行多个维度的画像。大数据可以分析活跃粉丝的互动内容，设定消费者画像的各种规则，关联潜在用户与会员数据，关联潜在用户与客服数据，筛选目标群体做精准营销，进而可以使传统客户关系管理结合社交数据，丰富用户不同维度的标签，并可以动态地更新消费者的生命周期数据，保持信息新鲜有效。

●大数据用于改善用户体验

要改善用户体验，关键在于真正了解用户及他们使用你的产品的状况，做最适时的提醒。例如，在大数据时代，或许你正驾驶的汽车可以提前救你一命。只要通过遍布全车的传感器收集车辆运行信息，在你的汽车关键部件发生问题之前，就会提前向你或4S店预警，这决不仅

人工智能与大数据技术导论

110

仅是节省金钱，而且对保护生命大有裨益。事实上，美国的UPS快递公司早在2000年就利用这种基于大数据的预测性分析系统来检测全美60000辆车辆的实时车况，以便及时地进行防御性修理。

企业重点客户筛选

许多企业家纠结的事是，在企业的用户、好友与粉丝中，哪些是最有价值的用户？有了大数据，或许这一切都可以更加有事实支撑。从用户访问的各种网站可以判断其最近关心的东西是否与你的企业相关：从用户在社交媒体上所发布的各类内容及与他人互动的内容中，可以找出千丝万缕的信息，利用某种规则关联及综合起来，就可以帮助企业筛选重点的目标用户。

● 竞争对手监测与品牌传播

竞争对手在干什么是许多企业想了解的，即使对方不会告诉你，但你却可以通过大数据监测分析得知。品牌传播的有效性亦可通过大数据分析找准方向。例如，可以进行传播趋势分析、内容特征分析、互动用户分析、正负情绪分类、口碑品类分析、产品属性分析等，可以通过监测掌握竞争对手的传播态势。

●精准营销信息推送支撑

精准营销总在被许多公司提及，但是真正做到的少之又少，反而是垃圾信息泛滥。究其原因，主要是过去名义上的精准营销并不怎么精准，因为其缺少用户特征数据的支撑及详细准确的分析。相对而言，现在的RTB（RealTimeBidding，实时竞价）广告等应用则向我们展示了比以前更好的精准性，而其背后靠的就是大数据支撑。

●用户行为与特征分析

只要积累足够的用户数据，就能分析出用户的喜好与购买习惯，甚至做到“比用户更了解用户自己”。有了这一点，才是许多大数据营销的前提与出发点。无论如何，那些过去将“一切以客户为中心”作为口号的企业可以想想，过去你们真的能及时、全面地了解客户的需求与所想吗？或许只有大数据时代这个问题的答案才更明确。

●品牌危机监测及管理支持

新媒体时代，品牌危机使许多企业谈虎色变，然而大数据可以让企业提前有所洞悉。在危机爆发的过程中，最需要的是跟踪危机传播趋势识别重要参与人员，方便快速应对。大数据可以采集负面定义内容，及时启动危机跟踪和报警，按照人群社会属性分析聚类事件过程中的观点，识别关键人物及传播路径，进而可以保护企业、产品的声誉，抓住源头和关键节点，快速有效地处理危机。

3.6.4 生态化

大数据时代将催化出大数据生态。基于底层的技术平台，上层开放则可以形成丰富的生态。通过开放式的平台凝聚行业的力量，为更多的企业和个人提供大数据服务。大数据生态表现在

第3章 数据

111

以下两个方面。

数据交换/交易平台

人工智能的基石就是数据，作为人工智能的第一要务，数据是最重要的。数据作为生产资料，好比汽车的汽油，没有汽油，再高端的汽车也无法运转。而数据的来源往往是多方面的，未来一个企业所用到的数据往往不仅仅是自身的数据，甚至是多个渠道交换、整合、购买过来的数据。对于大数据商业形态，数据一定是流动的，数据只有整合关联，才能发挥更大的价值。但是数据要实现交换、交易，我们最终所必须解决的是法律法规、数据标准等一系列问题。

●算法经济/生态

算法是人工智能应用的基石，是大数据的核心价值。多个机器学习算法可以结合起来成为更强大的算法，从而更好地分析数据，充分挖掘数据中的价值。Gartner认为，无可避免地，算法经济将创造一个全新的市场。人们可以对各种算法进行买卖，为当下的公司汇聚大量的额外收入，并催生出全新一代的专业技术初创企业。想象这样一个市场：数十亿的算法都是可以买卖的，每一个算法代表的是一种软件代码，能解决一个或多个技术难题，或者从物联网的指数级增长中创造一个新的机会。在算法经济中，对于前沿的技术项目，无论是先进的智能助理，还是能够自动计算库存的无人机，最终都将落实成为实实在在的代码，供人们交易和使用。

广义的算法存在于大数据的整个闭环之中，大数据平台、ETL（数据采集、数据清洗、数据脱敏等）、数据加工、数据产品等每一个层面都会有算法支持。算法可以直接交易，也可以包装成产品、工具、服务，甚至平台来交易，最终形成大数据生态中的一个重要组成部分。人们将会通过产品使用的算法来评价它的性能好坏。企业的竞争力也不仅仅在于大数据，还要有能够把数据转换为实际应用的算法。因此，CEO应该关注公司有产权的算法，而不仅仅是大数据。正在涌现的机器学习平台可凭借“模型作为服务”的方式，托管预训练过的机器学习模型，从而令企业能够更容易地开启机器学习，快速将其应用从原型转化成产品。企业接入并使用不同的机器学习模型和服务以提供特定功能的能力将变得越来越有价值。

所有的这一切最终也离不开云计算，数据平台天然就是基于云计算来实现的。而数据交换、算法交易则需要一个商店，云端就是目前最好的商店。无论是数据的互通，还是基于云端预训练、托管的机器学习模型，都将促使每个公司的数据产品能够大规模地利用算法智能。

3.7 大数据产业

3.7.1 大数据产业界定

1990年以来，在摩尔定律的推动下，计算存储和传输数据的能力在以指数级的速度增长，每吉字节（GB）存储器的价格每年下降40%。2000年以来，以Hadoop为代表的分布式存储和计算技术迅猛发展，极大地提升了数据管理能力，互联网企业对海量数据的挖掘利用大获成功，引发全社会开始重新审视“数据”的价值，开始把数据当作一种独特的战略资源对待。大数据的所谓3V特征（体量大、结构多样、产生处理速度快）主要是从以下角度描述的。

人工智能与大数据技术导论

112

从技术视角看，大数据代表新一代数据管理与分析技术。传统的数据管理与分析技术以结构化数据为管理对象，在小数据集上进行分析，以集中式架构为主，成本高昂。与“贵族化”的数据分析技术相比，源于互联网、面向多源异构数据、在超大规模数据集（拍字节（PB）量级）上进行分析、以分布式架构为主的新一代数据管理技术，与开源软件潮流叠加，在大幅提高处理效率的同时（数据分析从T+1到T+0甚至实时），成百倍地降低了数据应用成本。

从理念视角看，大数据打开了一种全新的思维角度。其一是“数据驱动”，即经营管理决策可以自下而上地由数据来驱动，甚至像量化股票交易、实时竞价广告等场景中那样，可以由机器根据数据直接决策；其二是“数据闭环”，观察互联网行业大数据案例，它们往往能够构造起包括数据采集、建模分析、效果评估到反馈修正各个环节在内的完整“数据闭环”，从而不断地自我升级，螺旋上升。目前很多“大数据应用”，要么数据量不够大，要么并非必须使用新一代技术，但体现了数据驱动和数据闭环的思维，改进了生产管理效率，这是大数据思维理念应用的体现。

大数据本身既能形成新兴产业，也能推动其他产业发展。当前，国内外缺乏对大数据产业的公认界定。我们认为，大数据产业可以从狭义和广义两个层次界定。从狭义看，当前全球围绕大数据采集、存储、管理和挖掘，正在逐渐形成一个“小生态”，即大数据核心产业。大数据核心产业为全社会大数据应用提供数据资源、产品工具和应用服务，支撑各个领域的大数据应用，是大数据在各个领域应用的基石，如图3-19所示。应该注意到，狭义大数据产业仍然围绕信息的采集加工构建，属于信息产业的一部分。

数据资源部分负责原始数据的供给和交换，根据数据来源的不同，可以细分为数据资源提供者和数据交易平台两种角色。数据基础能力部分负责与数据生产加工相关的基础设施和技术要素供应，根据数据加工和价值提升的生产流程，数据基础能力部分主要包括数据存储、数据处理和数据库（数据管理）等多个角色。数据分析/可视化部分负责数据隐含价值的挖掘、数据关联分析和可视化展现等，既包括传统意义上的BI、可视化和通用数据分析工具，也包括面向非结构化数据提供的语音、图像等媒体识别服务。数据应用部分根据数据分析和加工的结果，面向电商、金融、交通、气象、安全等细分行业提供精准营销、信用评估、出行引导、信息防护等企业或公众服务。

第3章 数据

113