{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":143,"pdf_page":159,"physical_index":159,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"32f391e308d986a379914a5986d88e11619e9479b6c6d7f91112d3d30cd10c30"},"chapter":"第4章","content":"征工程。本节阐述探索性分析的目的和途径、数据清洗的常见类型和手段、特征工程的重要性和常见方法。\n\n4.3.1 探索性分析\n\n探索性分析（Exploratory Analysis），或者叫探索性数据分析（ExploratoryData Analysis）是通过图表等可视化工具对原始数据（RawData）进行大致了解和初步分析的过程。探索性分析的目的是让我们对陌生的数据集有个直观和感性的认识，从而在庞大的数据集中发现有价值、值得挖掘的信息，找出数据集中的“亮点”。具体而言，通过探索性分析，我们可以：\n\n●了解数据集的基本信息。\n\n●给数据清洗提供方向。\n\n为特征工程提供方向。\n\n探索性分析是我们在拿到数据集还没有头绪的时候可以尝试的手段。探索性分析要避免时间过长，毕竟我们的目的是对数据进行初步探索，分析工作的大头在后面。\n\n4.3.2 数据清洗\n\n好的数据总是比好的算法要强得多（Better data beats fancier algorithms）。这句话送给初学者是最合适不过的。任何想从事机器学习的数据分析师，首先要记住这句话。如果数据质量差，杂乱无章，即使再好的算法也没有用，就好比加工垃圾一样，用再先进的技术加工出来的成品也是垃圾（Garbagein，garbageout）。之所以要进行数据清洗，是因为在现实生活中，我们遇到的绝大多数数据集都是“不干净的”。比如会出现以下情形（见表4-3）：\n\n存在重复记录的数据\n\n比如人口数据中同一个人有两条完全相同的记录。\n\n●存在不相关记录\n\n比如我们只关注中国人口数据，但数据集中有美国人的信息。\n\n●无用的特征信息\n\n例如身份ID等一些显然不会对结果有影响的编号类数据。\n\n文字拼写错误\n\n一些比较明显的信息输入错误。\n\n信息格式不统一\n\n例如大小写不一致，比如“beijing”和“Beijing”应该属同一类。表述形式不统一，比如“陕西省”和“陕西”也应该统一成一种。\n\n第4章 机器学习概述\n\n143","previous_page":142,"next_page":144}