{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","uuid":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","normalized_title":"智慧的疆界从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","isbns":["9787111778004","9787111695714"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":456,"navigation_url":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title_url":"https://workshop.closeclaw.top/ai/title/%E6%99%BA%E6%85%A7%E7%9A%84%E7%96%86%E7%95%8C%20%E4%BB%8E%E5%9B%BE%E7%81%B5%E6%9C%BA%E5%88%B0%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","page_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/search"},"page":{"printed_page":277,"pdf_page":292,"physical_index":292,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"582da0279a87e7871dc866013a7ac2cfc70fe369dc4f126654f0ef3fe6b40f3c"},"chapter":"内容简介","content":"7.5.6 越深度越困难吗\n\n虽然“神经网络是否越深度越强大”这个问题的答案还不明确，但是，“神经网络的深度越高，训练难度就越大”这个结论可以暂时认为是正确的。神经网络的结构越复杂，层次越深，涉及的因素就越多，面临的挑战势必更多，这里笔者举一对最为经典的问题—“梯度消失”（Gradient Vanishing）和“梯度爆炸”（Gradient Exploding）来展开说明。\n\n训练神经网络主要依靠迭代算法来优化，譬如第 6 章讲过的梯度下降优化算法，它的基本思路是每次迭代都以梯度向量为指导，按照梯度负反向和梯度的大小调整权值，逐步逼近，最后得到全局最优值，误差反向传播算法属于梯度下降优化算法的一种特定形式。在以上语境里，“梯度消失”问题是指从输出层开始，每经过一个隐层，指导更新权值的梯度向量就变小一些，这样，接近于输出层的权值更新相对正常，但在误差传播的远端，越靠近输入层的梯度越小，网络权值更新就会变得越慢。当隐层深度特别深时，经过若干次传递以后，梯度已变为一个接近于零的小数，导致这些隐层的权值几乎不会再发生改变，一直等于网络初始化时赋予的权值，此时的深层神经网络模型，其实等价于只有后几层在工作、其他层都在“偷懒摸鱼”的浅层神经网络模型。而“梯度爆炸”问题则与此相反，如果每经过一个隐层梯度向量都增大一些的话，在最接近输入层的那些靠前的隐层，每次权值更新都会发生很大的变化，这样带来的结果是轻则使得训练无法稳定收敛，重则导致数据越界溢出。\n\n为何会产生梯度消失和梯度爆炸问题呢？如果读懂了前面误差反向传播算法的推导过程的话，这个问题其实很容易回答，以 E 表示损失函数输出值，x表示隐层的输出值，w 表示权值，s 表示加权和，∂ 表示激活函数，那最后推导出的梯度计算的公式如下：\n\n第 7 章 深度学习时代\n\n277","previous_page":276,"next_page":278}