{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":104,"pdf_page":120,"physical_index":120,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"52ba7915ee5fc680b5a85e57deb6ea3b2c5b41afccc5190979cad8c619eecf3c"},"chapter":"第3章","content":"(5)AI驱动型数据集成平台\n\n一些下一代数据集成工具将包括人工智能功能，以帮助自动化重复性任务或识别难以找到的数据模式。例如，Informatica提供了智能数据平台Claire，而Snaplogic正在营销Iris，它“推动自我驱动整合”。\n\n2. ETL\n\nETL就是对数据的合并、清理和整合。通过转换可以实现不同的源数据在语义上的一致性。数据采集平台主要是ETL，它是数据处理的第一步，一切的开端。有数据库就会有数据，就需要采集。在数据挖掘的范畴中，数据清洗的前期过程可简单地认为是ETL的过程。ETL伴随着数据挖掘发展至今，其相关技术也已非常成熟。\n\n(1） 概念\n\nETL是Extract（提取）、Transform（转换）、Load（加载）三个单词的首字母。ETL负责将分散的、异构数据源中的数据（如关系数据库数据、平面数据文件等）抽取到临时中间层后，进行清洗、转换和集成，最后加载到大数据平台中，成为为分析处理、数据挖掘提供决策支持的数据。\n\nETL是构建大数据平台重要的一环，用户从数据源抽取所需的数据，经过数据清洗，最终按照预先定义好的数据模型将数据加载到大数据平台中。ETL技术已发展得相当成熟，似乎并没有什么深奥之处，但在实际的项目中，却常常在这个环节上耗费太多的人力，而在后期的维护上，往往更费脑筋。导致上面的原因往往是在项目初期没有正确地估计ETL的工作，没有认真地考虑其与工具支撑有很大的关系。\n\n在做ETL产品选型的时候，仍然必不可少地要考虑4点：成本、人员经验、案例和技术支持。ETL工具包括Datastage、Powercenter、Kettle等。在实际ETL工具应用的对比上，对元数据的支持、对数据质量的支持、维护的方便性、对定制开发功能的支持等方面是我们选择的切入点。一个项目，从数据源到最终目标平台，多则达上百个ETL过程，少则也有十几个。这些过程之间的依赖关系、出错控制以及恢复的流程处理都是工具所需要重点考虑的内容。\n\n(2) 过程\n\n在整个数据平台的构建中，ETL工作占整个工作的50%\\~70%。要求的第一点就是，团队协作性要好。ETL包含E、T、L，还有日志的控制、数据模型、数据验证、数据质量等方面。例如，我们要整合一个企业亚太区的数据，但是每个国家都有自己的数据源，有的是ERP，有的是Access，而且数据库都不一样，要考虑网络的性能问题，如果直接用JDBC连接两地的数据源，这样的做法显然是不合理的，因为网络不好，经常连接，很容易导致数据库连接不能释放导致死机。如果我们在各地区的服务器放置一个数据导出为Access或者文件的程序，这样文件就可以比较方便地通过FTP的方式进行传输。下面我们指出上述案例需要做的几项工作。\n\n①有人写一个通用的数据导出工具，可以用Java、脚本或其他的工具，总之要通用，可以通过不同的脚本文件来控制，使各地区的不同数据库导出的文件格式是一样的。而且还可以\n\n人工智能与大数据技术导论\n\n104","previous_page":103,"next_page":105}