{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":96,"pdf_page":112,"physical_index":112,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"9c708150ab789194110f370d8cb74e3daa46444b0de820af874b7791eee067b7"},"chapter":"第3章","content":"了解问题产生的原因和来源后，就可以对每一类问题建立起识别、反馈、处理、验证的流程和制度。比如数据标准不完善导致的问题，就需要有一整套数据标准问题识别、标准修正、现场实施和验证的流程，确保问题的准确解决，不带来新的问题。比如缺乏反馈渠道和处理责任人的问题，则属干管理问题，需要建立一套数据质量的反馈和响应机制，配合问题识别、问题处理、解决方案的现场实施与验证、过程和积累等多个环节和流程，保证每一个问题都能得到有效解决并有效积累处理的过程和经验，形成越来越完善的有机运作体。当然，很多问题是相互影响的，单一地解决某一方面的问题可能暂时解决不了所发现的问题，但是当多方面的持续改进机制协同工作起来之后，互相影响，交错前进，一点点改进，最终就会达到一个比较好的效果。\n\n6. 完善元数据管理\n\n数据质量的采集规则和检查规则本身也是一种数据，在元数据中定义。元数据按照官方定义，是描述数据的数据。面对庞大的数据种类和结构，如果没有元数据来描述这些数据，使用者就无法准确地获取所需的信息。正是通过元数据，海量的数据才可以被理解、使用，才会产生价值。\n\n元数据可以按照其用途分为3类：技术元数据、业务元数据和管理元数据。“技术元数据”是存储关于信息系统技术细节的数据，是开发和管理数据而使用的数据。主要包括数据结构的描述，包括对数据结构、数据处理过程的特征描述，存储方式和位置覆盖涉及整个数据的生产和消费环节。“业务元数据”是从业务角度描述数据系统中的数据，提供了业务使用者和实际系统之间的语义层，主要包括业务术语、指标定义、业务规则等信息。“管理元数据”是描述系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责、管理流程等信息。良好的元数据管理系统能为数据质量的采集、分析、监控、改进提供高效、有力的强大保障。同时，良好的数据质量管理系统也能促进元数据管理系统的持续改进，互相促进完善，共同为一个高质量和高效运转的数据平台提供支持。\n\n7. 对不同的数据问题分类处理\n\n从时间维度上分，企业数据主要有三类：未来数据、当前数据和历史数据。在解决不同种类的数据质量问题时，要采取不同的处理方式。\n\n如果你拿着历史数据找业务部门做整改，业务部门通常以“当前的数据问题都处理不过来，哪有时间帮你追查历史数据的问题”为理由无情拒绝。这个时候即便是找领导协调，一般也起不到太大的作用。对于历史数据问题的处理，一般可以发挥IT技术人员的优势，用数据清洗的办法来解决，清洗的过程要综合使用各类数据源，提升历史数据的质量。\n\n当前数据的问题需要从问题定义、问题发现、问题整改、问题跟踪、效果评估5个方面来解决。未来数据的处理一般要采用做数据规划的方法来解决，从整个企业信息化的角度出发，规划统一企业数据架构，制定企业数据标准和数据模型。借业务系统改造或者重建的时机，来从根本上提高数据质量。当然，这种机会是可遇而不可求的，在机会到来之前，应该把企业数据标准和数据模型建立起来，一旦机会出现，就可以遵循这些标准。\n\n人工智能与大数据技术导论\n\n96","previous_page":95,"next_page":97}