{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":105,"pdf_page":121,"physical_index":121,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"e83e792812789abae1346478a09c1723253799064850935b483df5ae2bc5a758"},"chapter":"第3章","content":"实现并行操作。\n\n②有人写FTP的程序，可以用BAT、ETL工具或其他的方式，总之要准确，而且方便调用和控制。\n\n③有人设计数据模型，包括在1之后导出的结构。\n\n④有人写SP，包括ETL中需要用到的SP和日常维护系统的SP，比如检查数据质量之类的。\n\n⑤有人分析源数据，包括表结构、数据质量、空值和业务逻辑。\n\n⑥有人负责开发流程，包括实现各种功能，还有日志的记录，等等。\n\n⑦有人测试真正好的ETL，都是团队来完成的，一个人的力量是有限的。\n\n(3) ETL 处理步骤\n\n主要从E、T、L和异常处理简单地说明。\n\n①数据清洗\n\n数据补缺：对空数据、缺失数据进行数据补缺操作，无法处理的做标记。\n\n●数据替换：对无效数据进行数据的替换。\n\n●格式规范化：将源数据抽取的数据格式转换成为目标数据格式。\n\n●主外键约束：通过建立主外键约束，对非法数据进行数据替换或导出到错误文件重新处理。\n\n②数据转换\n\n数据合并：多用表关联实现，大小表关联用lookup，大大表相交用join（每个字段加索引，保证关联查询的效率）。\n\n● 数据拆分：按一定规则进行数据拆分。\n\n●行列互换、排序/修改序号、去除重复记录。\n\n数据验证：loolup、sum、count。\n\n实现方式包含两种，一种是在ETL引擎中进行的（SQL无法实现的）；另一种是在数据库中进行的（SQL可以实现的）。\n\n③数据加载\n\n时间戳方式：在业务表中统一添加字段作为时间戳，当业务系统修改业务数据时，同时修改时间戳字段值。\n\n●日志表方式：在业务系统中添加日志表，业务数据发生变化时，更新维护日志表的内容。\n\n●全表对比方式：抽取所有源数据，在更新目标表之前先根据主键和字段进行数据比对，有更新的进行 update或insert。\n\n●全表删除插入方式：删除目标表数据，将源数据全部插入。\n\n第3章 数据\n\n105","previous_page":104,"next_page":106}