{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":95,"pdf_page":111,"physical_index":111,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"4bcef1dc807b19ffc1b4f7ac012a3f39ad75ca6af00eabe0e8805f04bc5f27e7"},"chapter":"第3章","content":"一致性检验主要是检验数据和数据定义是否一致，因此可以通过合规记录的比率来衡量。比如取值范围是枚举集合的数据，其实际值超出范围之外的数据占比，比如存在特定编码规则的属性值，不符合其编码规则的记录占比。还有一些存在逻辑关系的属性之间的校验，比如属性A取某定值时，属性B的值应该在某个特定的数据范围内，都可以通过合规率来衡量。\n\n准确性可能存在于个别记录，也可能存在于整个数据集上。准确性和一致性的差别在于，一致性关注合规，表示统一，而准确性关注数据错误。因此，同样的数据表现，比如数据的实际值不在定义的范围内，如果定义的范围准确，值完全没有意义，就属于数据错误。但如果值是合理且有意义的，可能是范围定义不够全面，就不能认定为数据错误，而应该去补充修改数据的定义。\n\n通过建立数据质量评价体系，对整个流通链条上的数据质量进行量化指标输出，后续进行问题数据的预警，使得问题一出现就可以暴露出来，便于进行问题的定位和解决，最终可以实现在哪个环节出现问题就在哪个环节解决，避免将问题数据带到后端以及质量问题扩大。\n\n4. 落实数据质量信息的采集、分析与监控\n\n有评价体系作为参照，还需要进行数据的采集、分析和监控，为数据质量提供全面可靠的信息。在数据流转环节的关键点上设置采集点，采集数据质量监控信息，按照评价体系的指标要求输出分析报告。通过对来源数据的质量分析，可以了解数据和评价接入数据的质量，通过对不同采集点的数据分析报告的对比，可以评估数据处理流程的工作质量。配合数据质量的持续改进工作机制，进行质量问题原因的定位、处理和跟踪。\n\n5. 建立数据质量的持续改进工作机制\n\n通过质量评价体系和质量数据采集系统可以发现问题，之后还需要对发现的问题及时做出反应，追溯问题的原因和形成机制，根据问题的种类采取相应的改进措施，并持续跟踪验证改进之后的数据质量提升效果，形成正反馈，达到数据质量持续改良的效果。在源头建立数据标准或接入标准，规范数据定义，在数据流转过程中建立监控数据转换质量的流程和体系，尽量做到在哪里发现问题就在哪里解决问题，不把问题数据带到后端。\n\n导致数据质量产生问题的原因很多。有研究表示，从问题的产生原因和来源，可以分为四大问题域：信息问题域、技术问题域、流程问题域和管理问题域。“信息类问题”是由于对数据本身的描述、理解及度量标准偏差而造成的数据质量问题。产生这类数据质量问题的主要原因包括：数据标准不完善、元数据描述及理解错误、数据质量得不到保证和变化频度不恰当等。“技术类问题”是指由于在数据处理流程中数据流转的各技术环节异常或缺陷而造成的数据质量问题，产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题主要产生在数据创建、数据接入、数据抽取、数据转换、数据装载、数据使用和数据维护等环节。“流程类问题”是指由于数据流转的流程设计不合理、人工操作流程不当造成的数据质量问题。所有涉及数据流转流程的环节都可能出现问题，比如接入新数据缺乏对数据检核、元数据变更没有考虑到历史数据的处理、数据转换不充分等各种流程设计错误、数据处理逻辑有缺陷等问题。“管理类问题”是指由于人员素质及管理机制方面的原因造成的数据质量问题。比如数据接入环节由于工期压力而减少对数据检核流程的执行和监控、缺乏反馈渠道及处理责任人、相关人员缺乏培训等带来的一系列问题。\n\n第3章 数据\n\n95","previous_page":94,"next_page":96}