{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":94,"pdf_page":110,"physical_index":110,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"c683645a30f9aee72d5bcea2818a09b0b0bf9c10bc32ce8a8cf0be8d3a12f8bd"},"chapter":"第3章","content":"（1）在数据收集方面，大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段，保证数据定义的完整性、数据质量的可靠性尤为必要。\n\n(2）由于规模大，大数据在获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理远远处理不了大数据环境下的数据问题。\n\n(3)由于高速性，数据的大量更新会导致过时数据迅速产生，也更易产生不一致数据。\n\n(4)由于发展迅速、市场庞大、厂商众多、直接产生的数据或者产品产生的数据标准不完善，使得数据有更大的可能产生不一致和冲突。\n\n(5）由于数据生产源头激增、产生的数据来源众多、结构各异，以及系统更新、升级加快和应用技术更新换代频繁，使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象，再加上数据收集与集成往往由多个团队协作完成，增大了数据处理过程中产生问题数据的概率。\n\n因此，我们需要一种数据质量策略，从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面，多方位优化改进，最终形成一套完善的质量管理体系，为信息系统提供高质量的数据支持。\n\n3. 建立数据质量管理策略和评价体系\n\n为了改进和提高数据质量，必须从产生数据的源头开始抓起，从管理入手，对数据运行的全过程进行监控，密切关注数据质量的发展和变化，深入研究数据质量问题所遵循的客观规律，分析其产生的机理，探索科学有效的控制方法和改进措施。必须强化全面数据质量管理的思想观念，把这一观念渗透到数据生命周期的全过程。建立数据质量评价体系，评估数据质量，可以从以下4个方面来考虑。\n\n（1）完整性：数据的记录和信息是否完整，是否存在缺失情况。\n\n(2)一致性：数据的记录是否符合规范，是否与前后及其他数据集保持统一。\n\n（3）准确性：数据中记录的信息和数据是否准确，是否存在异常或者错误信息。\n\n(4）及时性：数据从产生到可以查看的时间间隔，也叫数据的延时时长。\n\n有了评估方向，还需要使用可以量化、程序化识别的指标来衡量。通过量化指标，管理者才可能了解到当前的数据质量，并确定采取修正措施之后数据质量的改进程度。而对于海量数据，数据量大、处理环节多，获取质量指标的工作不可能由人工或简单的程序来完成，而需要程序化的制度和流程来保证，因此指标的设计、采集与计算必须是程序可识别处理的。\n\n完整性可以通过记录数和唯一值来衡量。比如某类交易数据，每天的交易量应该呈现出平稳的特点，平稳增长或保持一定范围内的周期波动。如果记录数量出现激增或激减，就需要追溯是在哪个环节出现了变动，最终定位是数据问题还是服务问题。对于属性的完整性考量，则可以通过空值占比或无效值占比来进行检查。\n\n人工智能与大数据技术导论\n\n94","previous_page":93,"next_page":95}