(5)AI驱动型数据集成平台
一些下一代数据集成工具将包括人工智能功能，以帮助自动化重复性任务或识别难以找到的数据模式。例如，Informatica提供了智能数据平台Claire，而Snaplogic正在营销Iris，它“推动自我驱动整合”。
- ETL
ETL就是对数据的合并、清理和整合。通过转换可以实现不同的源数据在语义上的一致性。数据采集平台主要是ETL，它是数据处理的第一步，一切的开端。有数据库就会有数据，就需要采集。在数据挖掘的范畴中，数据清洗的前期过程可简单地认为是ETL的过程。ETL伴随着数据挖掘发展至今，其相关技术也已非常成熟。
(1） 概念
ETL是Extract（提取）、Transform（转换）、Load（加载）三个单词的首字母。ETL负责将分散的、异构数据源中的数据（如关系数据库数据、平面数据文件等）抽取到临时中间层后，进行清洗、转换和集成，最后加载到大数据平台中，成为为分析处理、数据挖掘提供决策支持的数据。
ETL是构建大数据平台重要的一环，用户从数据源抽取所需的数据，经过数据清洗，最终按照预先定义好的数据模型将数据加载到大数据平台中。ETL技术已发展得相当成熟，似乎并没有什么深奥之处，但在实际的项目中，却常常在这个环节上耗费太多的人力，而在后期的维护上，往往更费脑筋。导致上面的原因往往是在项目初期没有正确地估计ETL的工作，没有认真地考虑其与工具支撑有很大的关系。
在做ETL产品选型的时候，仍然必不可少地要考虑4点：成本、人员经验、案例和技术支持。ETL工具包括Datastage、Powercenter、Kettle等。在实际ETL工具应用的对比上，对元数据的支持、对数据质量的支持、维护的方便性、对定制开发功能的支持等方面是我们选择的切入点。一个项目，从数据源到最终目标平台，多则达上百个ETL过程，少则也有十几个。这些过程之间的依赖关系、出错控制以及恢复的流程处理都是工具所需要重点考虑的内容。
(2) 过程
在整个数据平台的构建中，ETL工作占整个工作的50%\~70%。要求的第一点就是，团队协作性要好。ETL包含E、T、L，还有日志的控制、数据模型、数据验证、数据质量等方面。例如，我们要整合一个企业亚太区的数据，但是每个国家都有自己的数据源，有的是ERP，有的是Access，而且数据库都不一样，要考虑网络的性能问题，如果直接用JDBC连接两地的数据源，这样的做法显然是不合理的，因为网络不好，经常连接，很容易导致数据库连接不能释放导致死机。如果我们在各地区的服务器放置一个数据导出为Access或者文件的程序，这样文件就可以比较方便地通过FTP的方式进行传输。下面我们指出上述案例需要做的几项工作。
①有人写一个通用的数据导出工具，可以用Java、脚本或其他的工具，总之要通用，可以通过不同的脚本文件来控制，使各地区的不同数据库导出的文件格式是一样的。而且还可以
人工智能与大数据技术导论
104