{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","uuid":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","normalized_title":"智慧的疆界从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","isbns":["9787111778004","9787111695714"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":456,"navigation_url":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title_url":"https://workshop.closeclaw.top/ai/title/%E6%99%BA%E6%85%A7%E7%9A%84%E7%96%86%E7%95%8C%20%E4%BB%8E%E5%9B%BE%E7%81%B5%E6%9C%BA%E5%88%B0%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","page_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/search"},"page":{"printed_page":217,"pdf_page":232,"physical_index":232,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"b55576115437f09a95873a22bdd552b68d5e500efd6233dc00c708fe13b1c4f0"},"chapter":"内容简介","content":"稀疏性在机器学习中是很令人趋之若鹜的特性，它天然地解决了机器学习中的一对大难题：“自动特征选择”（Auto Feature Selection）和模型的“可解释性”（Interpretability）。前面我们遗留了“如何自动做特征选择”这个问题没有回答。特征选择之所以重要，是因为一般来说样本的大部分特征都和最终的输出没有什么关系，不对结果提供任何信息或者只提供极少量的信息。如果在最小化目标函数的时候考虑了这些额外的特征，虽然可以获得更小的训练偏差，但在预测新的样本时，这些无用的信息反而会干扰对结果的正确评价。稀疏规则化算子能天然地将模型中对结果影响小的参数权值置为零，这样就去掉了这些没有提供信息的特征，自动完成了特征选择。另一个青睐稀疏的理由是，将无关的特征置零后得到的简单模型更容易解释。这一点也很容易理解，譬如，假设要统计患某种疾病的概率，且我们收集到的数据样本有 1000 个特征，换句话说，我们需要寻找这 1000 个特征到底是怎样影响病人患上这种疾病的。如果通过 $\\mathrm { L } _ { 1 }$ 范数正则化之后，最后学习到的模型只有很少的非零元素，譬如只有 5 个非零的系数，那么我们就有理由相信，这些对应的特征在患病分析上面提供的信息是巨大的，是决定性的。也就是说，患不患这种病基本只和这五个因素有关，那医生就好分析多了。但如果 1000 个参数都不为零，医生面对这 1000 个致病因素是无法通过模型来寻找和解释致病原因的。\n\n$\\mathrm { L } _ { 0 }$ 范数的定义本来就是零值越多，函数值便越小，它参与到目标函数之后，模型有稀疏性是很好理解的。而关于 $\\mathrm { L } _ { 1 }$ 范数稀疏性的来源，我们就需要专门从几何角度去解释为什么它会具有这样的特性。\n\n我们把前面的目标函数稍微改写一下，不直接加入罚函数，而是把“计算损失函数和罚函数总和极小值的最优解作为优化目标”，改写为“在罚函数不超过单位常量值 C的前提下求损失函数极小值的最优解作为优化目标”，即把损失函数和罚函数独立约束，形成如下形式：\n\n$$\nw ^ { * } \\operatorname * { a r g m i n } _ { \\boldsymbol { w } } \\sum _ { i } \\operatorname { L o s s } ( y _ { i } , f ( x _ { i } , \\boldsymbol { w } ) ) , \\mathcal { L } \\boldsymbol { \\mathcal { Y } } \\dot { \\mathcal { K } } : \\mathcal { Q } ( \\boldsymbol { w } ) \\leqslant C\n$$\n\n以只有两个参数的简单情况为例，图 6-24 中的曲线是损失函数优化过程中的等值线，读者可将这里的“等值线”想象为地图中的“等高线”，这种等值线是把函数值相等的损失函数对应的参数 $\\ w _ { 1 } , \\ w _ { 2 }$ 组成的点连接起来，越接近中心线代表函数值越小，越接近外延线代表函数值越大。\n\n第 6 章 机器学习概览\n\n217","previous_page":216,"next_page":218}