{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","uuid":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","normalized_title":"智慧的疆界从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","isbns":["9787111778004","9787111695714"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":456,"navigation_url":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title_url":"https://workshop.closeclaw.top/ai/title/%E6%99%BA%E6%85%A7%E7%9A%84%E7%96%86%E7%95%8C%20%E4%BB%8E%E5%9B%BE%E7%81%B5%E6%9C%BA%E5%88%B0%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","page_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/search"},"page":{"printed_page":214,"pdf_page":229,"physical_index":229,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"eb3bcca278970b9cd498e051e7fc71891fd762def00d34fcdf804b932f7a51d9"},"chapter":"内容简介","content":"为此，在追求损失函数最小化之外，我们的最终目标还要再添加另外一个用于避免过拟合的第二目标，这个第二目标一般是以被称为“正则化项”（Regularizer）或者“罚函项函数”（Penalty Term Function，一般用“ Ω(w)”表示该函数，下文简称罚函数）的额外算子形式来体现的。这个算子的具体函数表达式稍后再谈，现在只把它看作一个抽象的函数符号。将它与损失函数联合相加，训练目标就不仅仅是损失函数最小化，而是追求与罚函数的总和最小，这才构成机器学习建模的完整目标。我们把形成的新函数称为训练模型的“目标函数”（Objective Function），如下所示：\n\n$$\n\\boldsymbol { w } ^ { * } \\operatorname * { a r g m i n } _ { \\boldsymbol { w } } \\sum _ { i } \\operatorname { L o s s } ( \\gamma _ { i } , f ( x _ { i } , \\boldsymbol { w } ) ) + \\mathcal { Q } ( \\boldsymbol { w } )\n$$\n\n上面这个通式就是所有监督学习算法的通用形式，对于不同的学习算法来说，其差别只是选择的损失函数 Loss(x)、罚函数 Ω(w) 不同。\n\n接下来我们要进一步厘清罚函数 Ω(w) 的表达式形式。“正则化项”或者“罚函数”这样的名词听起来挺抽象的，但只要从它们的作用去理解其含义就不困难了：罚函数存在的意义是为了避免目标函数变得过于复杂，进而导致模型陷入过拟合。前文提到，一个模型是复杂还是简单，取决于其表达式系数的数量和数值大小。由此可知，罚函数的目的是限制系数的数量和数值大小，通俗地讲，罚函数就是一个“参数数量越多、参数值越大，输出结果就越大的函数”。那如何把参数数量和数值大小与函数的计算结果联系起来呢？这就要先解决向量大小度量的问题，请读者先看看以下两个参数向量 $w _ { 1 }$ 、w<sub>2</sub> 到底谁大谁小：\n\n$$\n\\pmb { w } _ { 1 } = ( 1 , - 4 , 3 , 1 0 , - 9 , 1 1 , 0 )\n$$\n\n$$\nw _ { 2 } = ( 2 , 3 , - 5 , 7 , - 1 1 , 1 3 )\n$$\n\n不容易比较出结果吧？要解决这个问题，数学上已经有了成熟又严谨的办法可以参考。在机器学习领域，也使用了数学里“范数”（Norm）的概念来解决如何度量系数向量大小的问题，这直接关系到采用何种实现方式实现罚函数。\n\n“范数”是一种具有“长度”概念的函数，广泛应用于线性代数、泛函分析等领域，它的作用是度量某个向量空间或矩阵中每个向量的长度或大小。范数必须满足非负性、齐次性和三角不等式，这方面的数学知识读者可以不去深究，只需要把它当作一种用于衡量向量大小的工具，知道我们要用它来度量参数向量即可。\n\n214\n\n第三部分 第三波高潮","previous_page":213,"next_page":215}