{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":142,"pdf_page":158,"physical_index":158,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"b62efc75a83845a223df45f842079b02a681aad8cfe7999eb86d585fe3be1209"},"chapter":"第4章","content":"有了训练集和测试集，很多机器学习入门者可能不知道还有验证集这样一个概念。事实上，验证集是用来调参的。为了叙述的流畅性，这里读者可以先将调参理解为调整模型，相关概念会在后续章节介绍并通过具体例子说明。验证集的作用是比较我们所尝试的多个模型，从中选择表现最好的一个。这个任务仅通过测试集其实也能实现，很多人会直接把测试集当作验证集来选择和优化模型，从而将测试集和验证集的概念混为一谈。但严格来说，验证集的单独存在是必要的。测试集用来衡量一个完整建好的模型，意味着这个模型在之前就被认定为已经调整到最优，而这个优化的过程就是通过验证集实现的。如果我们延续上文中对训练集和测试集的比喻，验证集就相当于考前的模拟测试。\n\n4.2.6机器学习的任务流程\n\n一个完整的任务流程大致可分为如图4-9所示的6个步骤。注意这个流程只是一般的思路，具体问题会有各自的差异和侧重。\n\n一般来说，在“数据导入”上，机器学习算法读入的是像表4-2一样的结构化数据(StructuredData）。在结构化数据中，特征都是以列的形式一条一条展开的。但是在图像识别、语音识别等任务中，原始数据以图片或音频的形式出现，所谓的特征我们是“看不见的”。这个时候，我们需要将这些原始信息转化为结构化的形式。\n\n4.3 数据预处理\n\n在拿到任务和数据后，应该先做数据预处理的基本流程，包括探索性分析、数据清洗和特\n\n人工智能与大数据技术导论\n\n142","previous_page":141,"next_page":143}