{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":93,"pdf_page":109,"physical_index":109,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"98d745f2f7969f70334b7c14a20b8efb8433d5bb3deb6f43cce189476bc07685"},"chapter":"第3章","content":"（1）数据来源渠道多，责任不明确。\n\n（2）业务需求不清晰，数据填报缺失。\n\n(3）ETL处理过程中，业务部门变更代码导致数据加工出错，影响报表的生成。\n\n（1）和（2）都是业务的问题，（3）虽然表面上看是技术的问题，但本质上还是业务的问题。因此，大部分数据质量问题主要还是来自于业务。很多企业认识不到数据质量问题的根本原因，只从技术单方面来解决数据问题，没有形成管理机制，导致效果大打折扣。在走过弯路之后，很多企业认识到了这一点，开始从业务着手解决数据质量问题。在治理数据质量问题时，采用规划顶层设计，制定统一数据架构、数据标准，设计数据质量的管理机制，建立相应的组织架构和管理制度，采用分类处理的方式持续提升数据质量。还有，通过增加ETL数据清洗处理逻辑的复杂度，提高ETL处理的准确度。\n\n1. AI系统本身的数据质量\n\n在大数据时代，信息由数据构成，数据是信息的基础，数据已经成为一种重要资源。数据质量成为决定资源优劣的一个重要方面。随着大数据的发展，越来越丰富的数据给数据质量的提升带来了新的挑战和困难。对于企业而言，进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等都需要进行数据的搜集、分析、知识发现，为决策者提供充足且准确的情报和资料。对于政府而言，进行社会管理和公共服务影响面更为宽广和深远，政策和服务能否满足社会需要，是否高效地使用了公共资源，都需要数据提供支持和保障，因而对数据的需求显得更为迫切，对数据质量的要求也更为苛刻。\n\n数据作为AI系统的重要构成部分，数据质量问题是影响AI系统运行的关键因素，直接关系到AI系统建设的成败。根据“垃圾进，垃圾出（garbage in，garbage out）”的原理，为了使AI建设取得预期效果，达到数据决策的目标，要求所提供的数据是可靠的，能够准确反应客观事实。如果数据质量得不到保证，即使AI分析工具再先进，模型再合理，算法再优良，在充满“垃圾”的数据环境中也只能得到毫无意义的垃圾信息。系统运行的结果、做出的分析就可能是错误的，其至影响后续决策的制定和实行。高质量的数据来源于数据收集，是数据设计以及数据分析、评估、修正等环节的强力保证。因此，对于AI而言，数据质量管理尤为重要，这就需要建立一个有效的数据质量管理体系，尽可能全面地发现数据存在的问题并分析原因，以推动数据质量的持续改进。\n\n2. 大数据环境下数据质量管理面临的挑战\n\n随着移动互联网、云计算、物联网的快速发展，数据的生产者、生产环节都在急速攀升，随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天，越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛，每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品，每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计，到2020年则高达35.2ZB。此外，随着移动互联网、Web2.0技术和电子商务技术的飞速发展，大量的多媒体内容在呈指数级增长的数据量中发挥着重要作用。大数据时代的数据与传统数据呈现出了重大差别，直接影响到数据在流转环节中的各个方面，给数据存储处理分析性能、数据质量保障都带来了很大挑战，这更容易产生数据质量问题。\n\n第3章 数据\n\n93","previous_page":92,"next_page":94}