{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":106,"pdf_page":122,"physical_index":122,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"f452d7d5762dac773fef4d16a8e84a48f62ef428ccbd02403f335e342ca9f9a0"},"chapter":"第3章","content":"人工智能与大数据技术导论\n\n④异常处理\n\n在ETL的过程中，面临数据异常的问题不可避免，处理办法为：\n\n●将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载。或者中断ETL，修改后重新执行ETL。原则是最大限度地接收数据。\n\n●对于网络中断等外部原因造成的异常，设定尝试次数或尝试时间，超数或超时后，由外部人员手工干预。\n\n●诸如源数据结构改变、接口改变等异常状况，应进行同步后，再装载数据。\n\nETL不是想象中的一蹴而就，在实际过程中，你会遇到各种各样的问题，甚至是部门之间沟通的问题。给它定义到占据整个项目50%\\~70%是不足为过的。\n\n如图3-17所示是一个大数据采集平台，提供数据获取、清理、更换和存储数据。该平台允许访问不同的数据源，让不同的采集任务可以同时访问多个数据源。它可以追踪采集过程中的每个步骤。该产品既可以作为云服务部署来确保数据准备的灵活性，也可以作为内部部署的解决方案，可以整合到Hadoop、数据库和各种报表呈现工具中，以更快获取价值。\n\n总之，大数据现在是一个热门话题，但企业和IT领导者需要明白，分析糟糕的数据意味着糟糕的分析结果，可能会造成错误的商业决策。正因为如此，读者一定要高度重视数据准备。在大数据平台建设中，推进数据标准体系建设，制定有关大数据的数据采集、数据开放、分类目录和关键技术等标准，推动标准符合性评估。要加大标准实施力度，完善标准服务、评测、监督体系，坚持标准先行。\n\n3. 数据profile能力\n\n数据的 profile能力包括：\n\n106","previous_page":105,"next_page":107}