{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":102,"pdf_page":118,"physical_index":118,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"b27b0f161f956d0bd342fafc77edd67a8c0f5647bd13199935d318aded810277"},"chapter":"第3章","content":"（2）数据加密。在数据传输的过程中，采用对称密钥或VPN隧道等方式进行数据加密，再通过网络进行传输。在数据存储上，对敏感数据先加密后存储。\n\n(3）网络隔离。通过内外网方式保障敏感数据的安全性，即数据传输采用公网，存储采用内网。\n\n（4）灾备管理。通过数据镜像、数据备份、分布式存储等方式实现，保障数据安全。\n\n3.5.6数据准备\n\n如今的数据往往来自文件系统、数据库、数据湖、传感器或外部数据源。为了满足各类数据的AI分析需求，我们必须将所有数据采集，并将各个数据源的数据互相关联整合，比如：\n\n●来自电商平台的数据与客户关系管理中的客户数据集成在一起，以定制营销策略。\n\n●物联网传感器数据与运营和财务数据库中的数据相关联，以控制吞吐量并报告制造过程的质量。\n\n●开发预测模型的数据科学家通常会加载多种外部数据源，例如计量经济学、天气、人口普查和其他公共数据，然后将其与内部资源融合。\n\n●试验人工智能的创新团队需要汇总可用于训练和测试算法的大型复杂数据源。\n\n1. 数据整合工具与平台\n\n那么，用什么工具和做法来整合数据源，什么平台被用来自动化整合数据？主要类型如下：\n\n●编程和脚本完成数据集成。\n\n●提取、转换和加载（ETL）工具。\n\n数据高速公路 SaaS 平台。\n\n●具有数据集成功能的大数据管理平台。\n\n● AI注入数据集成平台。\n\n（1）数据集成编程与脚本\n\n对于工程师来说，将数据从源文件移动到目标文件最常见的方式是开发一个简短的脚本。这些脚本通常以几种模式之一运行：它们可以按照预定义的时间表运行，也可以作为由事件触发的服务运行，或者在满足定义的条件时做出响应。工程师可以从多个来源获取数据，在将数据传送到目标数据源之前加入过滤、清理、验证和数据转换。\n\n脚本是移动数据的快捷方式，但它不是专业级的数据处理方法。要成为生产级的数据处理脚本，需要自动执行处理和传输数据所需的步骤，并处理多种操作需求。例如，若脚本正在处理大量数据，则可能需要使用ApacheSpark或其他并行处理引擎来运行多线程作业。如果输入的数据不干净，程序员应该启用异常处理并在不影响数据流的情况下踢出记录。数据集成脚本通常难以跨多个开发人员进行维护。出干这些原因，具有较大数据集成需求的组织通常不会只用编程和脚本来实现数据集成。\n\n人工智能与大数据技术导论\n\n102","previous_page":101,"next_page":103}