{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","uuid":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","normalized_title":"智慧的疆界从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","isbns":["9787111778004","9787111695714"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":456,"navigation_url":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title_url":"https://workshop.closeclaw.top/ai/title/%E6%99%BA%E6%85%A7%E7%9A%84%E7%96%86%E7%95%8C%20%E4%BB%8E%E5%9B%BE%E7%81%B5%E6%9C%BA%E5%88%B0%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","page_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/search"},"page":{"printed_page":216,"pdf_page":231,"physical_index":231,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"5c923cfb618f967b52330d44cae81b40b58ed85b8cd8324d7594aa6dc4c5d26a"},"chapter":"内容简介","content":"分别为 0、1、2 时的特例情况，替换后得出以下三种范数公式：\n\n从公式上看， $\\mathrm { L } _ { 1 }$ 范数是向量中各个元素的绝对值之和， $\\mathrm { L } _ { 2 }$ 范数是向量中所有元素的平方之和再开方。把 $\\mathrm { L } _ { 0 }$ 范数的公式写出来，会发现由于p 出现在分母上，零值是无意义的<sup>○一</sup>，而 $\\mathrm { L } _ { 0 }$ 范数的真实含义是向量中非零元素的数量之和。\n\n根据 $\\mathrm { L } _ { 0 }$ 范数、 $\\mathrm { L } _ { 1 }$ 范数和 $\\mathrm { L } _ { 2 }$ 范数的公式，无论是非零计数、绝对值还是开平方，每一个参与公式计算的参数，无论其数值大小、正负都只会对计算结果产生非负的贡献，只是影响程度不同，所以这三个公式都符合“参数数量越多、参数值越大，输出结果就越大”这个特征，我们只要令罚函数${ } ^ { \\ast } \\thinspace \\mathcal { Q } ( \\pmb { w } ) = | | \\pmb { w } | | _ { 0 } ^ { \\phantom { \\dagger } \\prime \\dagger } \\ { } ^ { \\mathcal { Q } } ( \\pmb { w } ) = | | \\pmb { w } | | _ { 1 } ^ { \\phantom { \\dagger } \\prime \\dagger }$ 或者 $\\mathbf { \\nabla } ^ { \\ast } \\mathcal { Q } ( \\pmb { w } ) = | | \\pmb { w } | | _ { 2 } ^ { \\mathbf { \\nabla } _ { | | } \\mathbf { \\nabla } _ { 2 } \\mathbf { \\xi } }$ ”，即可达到限制模型复杂度过高的目的。\n\n不过，既然 $\\mathrm { L } _ { 0 }$ 范数、 $\\mathrm { L } _ { 1 }$ 范数、 $\\mathrm { L } _ { 2 }$ 范数以及其他形式的范数是共存的，那说明它们在某些地方有自己的特长，这才有共存的意义，也从侧面说明罚函数使用不同的范数来实现，效果一定是有所差别的。下面我们就继续来看看这三个范数的使用场景和含义。\n\n$\\mathrm { L } _ { 1 }$ 范数的作用是“参数稀疏化”，由于这个特性， $\\mathrm { L } _ { 1 }$ 范数还有个别名叫作“稀疏正则算子”（Lasso Regularization）。首先我们来解释什么叫“参数稀疏化”，数学上说一个向量“稀疏”是指它所包含的零元素的数量很多。 $\\mathrm { L } _ { 0 }$ 范数的意义是计算非零参数的个数，所以它的稀疏性是最直接的，把 $\\mathrm { L } _ { 0 }$ 范数作为目标函数的一部分，在最小化目标函数的过程中，其目标就自然带有尽可能获得零参数的倾向，但是由于最小化 $\\mathrm { L } _ { 0 }$ 范数已被证明是一个 NP 完全问题，要付出极高的代价才有可能优化好，所以实践中并不适用。如果特别注重模型参数数量的话，可以用 $\\mathrm { L } _ { 1 }$ 范数代替 $\\mathrm { L } _ { 0 }$ 范数来实现稀疏化。 $\\mathrm { L } _ { 0 }$ 范数的稀疏性从它的定义公式中就可以明显看出来，至于 $\\mathrm { L } _ { 1 }$ 范数为什么也会有稀疏性，我们会在讲解完稀疏特性的意义之后，从几何意义的角度给出解释。\n\n216\n\n第三部分 第三波高潮\n\n○一 严格来讲，p 在（0, 1）取值范围内定义的并不是范数，因为这违反了三角不等式（||x +y|| ≤ ||x|| + ||y||），因此 L<sub>0</sub> 范数不是真正的范数。","previous_page":215,"next_page":217}