{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":107,"pdf_page":123,"physical_index":123,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"1af371867a18fd2a81332acc313773464e49bef9002e3718aa47a3da92632b72"},"chapter":"第3章","content":"●数据集的条数、空值等。\n\n针对枚举字段枚举值的统计，针对数据类型字段数值分布范围的统计。\n\n●用户自定义策略的统计。提供用户自定义界面，可以组合各种规则统计数据集中满足条件的数据条数。\n\n●针对各类指标的时序可视化展示。数据profile有了时序的概念，才能做一些数据趋势的分析，以及监控和报警。\n\n数据平台应该可灵活配置数据集profile的计算频率。对于不同的数据集，数据量差距很大。针对一个小表，数据集的profile可能秒出，大库大表的数据集的profile只能定时运行了。\n\n3.5.7 数据整合\n\n数据整合是对导入的各类源数据进行整合，新进入的源数据匹配到平台上的标准数据，或者成为系统中新的标准数据。数据整合工具对数据关联关系进行设置。经过整合的源数据实现了基本信息的唯一性，同时又保留了与原始数据的关联性。具体功能包括关键字匹配、自动匹配、新增标准数据和匹配质量校验4个模块。有时，需要对标准数据列表中的重复数据进行合并，在合并时保留一个标准源。对一些拥有上下级关联的数据，对它们的关联关系进行管理设置。\n\n数据质量校验包括数据导入质量校验和数据整合质量校验两个部分，数据导入质量校验的工作过程是通过对原始数据与平台数据从数量一致性、重点字段一致性等方面进行校验，保证数据从源库导入平台前后的一致性;数据整合质量校验的工作是对经过整合匹配后的数据进行质量校验，保证匹配数据的准确性，比如通过SQL脚本进行完整性校验。\n\n数据整合往往涉及多个整合流程，所以数据平台一般具有BPM引擎，能够对整合流程进行配置、执行和监控。\n\n3.5.8 数据服务\n\n将数据模型按照应用要求做了服务封装，就构成了数据服务，这个跟业务系统中的服务概念是完全相同的，只是数据封装比一般的功能封装要难一点。随着企业大数据运营的深入，各类大数据应用层出不穷，对于数据服务的需求非常迫切，大数据如果不服务化，就无法规模化，比如某移动运营商封装了客户洞察、位置洞察、营销管理、终端洞察、金融征信等各种服务共计几百个，每月调用量超过亿次，灵活地满足了内外大数据服务的要求。\n\n数据服务往往需要运行在企业服务总线（Enterprise Service Bus，ESB）之上。ESB基于SOA构建，完成数据服务的释放、监控、统计和审计。除了直接访问数据的服务之外，数据服务还可能包括数据处理服务、数据统计和分析服务（比如TopN排行榜）、数据挖掘服务(比如关联规则分析、分类、聚类）和预测服务（比如预测模型和机器学习后的结果数据）。有时，算法服务也属于数据服务的一种类型。\n\n3.5.9数据开发\n\n有了数据模型和数据服务还是远远不够的，因为再好的现成数据和服务也往往无法满足前端个性化的要求，数据平台的最后一层就是数据开发，其按照开发难度也分为三个层次，最简单的是提供标签库，比如，用户可以基于标签的组装快速形成营销客户群，一般面向业务人员；其次是提供数据开发平台，用户可以基于该平台访问所有的数据并进行可视化开发，一般面向SQL开发人员；最后就是提供应用环境和组件，比如页面组件、可视化组件等，让技术人员可以自主打造个性化数据产品，以上层层递进，满足不同层次人员的要求。\n\n第3章 数据\n\n107","previous_page":106,"next_page":108}