{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":103,"pdf_page":119,"physical_index":119,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"d35da3054e0e9204f8af3e56999007ea2fab2a2a3ea7a5deb7bdd7bbe58e9777"},"chapter":"第3章","content":"(2)提取、转换与加载工具\n\n自20世纪70年代以来，ETL技术已经出现，IBM、Informatica、微软、Oracle、Talend等公司提供的ETL工具在功能、性能和稳定性方面已经成熟。这些平台提供可视化编程工具，让开发人员能够分解并自动执行从源中提取的数据，执行转换并将数据推送到目标存储库的步骤。由于它们是可视化的，并将数据流分解为原子步骤，与难以解码的脚本相比，管道更易于管理和增强。另外，ETL平台通常提供操作界面来显示数据管道崩溃的位置并提供重启它们的步骤。\n\n多年来，ETL平台增加了许多功能。大多数平台可以处理来自数据库、平面文件和Web服务的数据，无论它们在本地、云中，还是在SaaS数据存储中。它们支持各种数据格式，包括关系数据、XML和JSON等半结构化格式，以及非结构化数据和文档。许多工具使用Spark或其他并行处理引擎来并行化作业。企业级ETL平台通常包括数据质量功能，因此数据可以通过规则或模式进行验证，并将异常发送给数据管理员进行解决。\n\n当数据源持续提供新数据并且目标数据存储的数据结构不会频繁更改时，通常会使用ETL平台。\n\n(3）面向SaaS平台的数据高速公路\n\n是否有更有效的方法从常见数据源中提取数据呢?也许主要数据目标是从Salesforce、Microsoft Dynamics或其他常见CRM程序中提取账户或客户联系人。或者，营销人员希望从GoogleAnalytics等工具中提取网络分析数据。我们应该如何防止SaaS平台成为云中的数据孤岛，并轻松实现双向数据流呢？如果我们已经拥有ETL工具，则需要查看该工具是否提供通用SaaS平台的标准连接器。如果我们没有ETL工具，那么可能需要一个易于使用的工具来构建简单的数据高速公路。\n\nScribe、Snaplogic和Stitch等数据高速公路工具提供了简单的网络界面，可以连接到常见的数据源，选择感兴趣的领域，执行基本转换，并将数据推送到常用目的地。数据高速公路的另一种形式有助于更接近实时地整合数据。它通过触发器进行操作，因此当源系统中的数据发生更改时，可以将其操作并推送到辅助系统。IFTTT、Workato和Zapier就是这类工具的例子。这些工具对于将单个记录从一个SaaS平台转移到另一个SaaS平台时特别有用。在评估它们时，请考虑它们集成的平台数量、处理逻辑的功能和简单性以及价格。\n\n（4）大数据企业平台与数据集成功能\n\n如果正在Hadoop或其他大数据平台上开发功能，则可以选择：\n\n●开发脚本或使用支持大数据平台的ETL工具作为端点。\n\n●具有ETL、数据治理、数据质量、数据准备和主数据功能的端到端数据管理平台。\n\n许多提供ETL工具的供应商也出售具有这些新型大数据功能的企业平台。还有像Datameer和Unifi这样的新兴平台可以实现自助服务（如数据准备工具），并可以在Hadoop发行版上运行。\n\n第3章 数据\n\n103","previous_page":102,"next_page":104}