{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","uuid":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","normalized_title":"智慧的疆界从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","isbns":["9787111778004","9787111695714"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":456,"navigation_url":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title_url":"https://workshop.closeclaw.top/ai/title/%E6%99%BA%E6%85%A7%E7%9A%84%E7%96%86%E7%95%8C%20%E4%BB%8E%E5%9B%BE%E7%81%B5%E6%9C%BA%E5%88%B0%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","page_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/search"},"page":{"printed_page":278,"pdf_page":293,"physical_index":293,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"46db5906253b20561f45e0638ca49262196156a08b32a6899c8265a42b54f176"},"chapter":"内容简介","content":"$$\n\\frac { \\partial E } { \\partial x _ { j } } = \\sum _ { k } \\frac { \\partial E } { \\partial x _ { k } } \\cdot \\triangledown \\partial ^ { \\prime } ( s _ { k } ) w _ { j k }\n$$\n\n为了增加网络深度，并且去掉无关因素的干扰，我们不妨以一个每层只有一个神经元的四层神经网络（图中省略了输入层节点）为例，如图 7-20 所示。\n\n根据误差反向传播算法，每一个隐层的梯度值都依赖于它后面一层的计算结果，如此重复迭代，对于第一个隐层，它的梯度就依赖于其后所有层的计算结果。对于如图 7-20 所示的神经网络，分析误差经过四层传播后的情况，根据前面推导出的公式，输入层导数 $\\frac { \\partial E } { \\partial x _ { 1 } }$ 应是输出层导数 $\\cdot \\frac { \\partial E } { \\partial x _ { 4 } }$ 乘以每一层权值和激励函数的导数的乘积，即以下式子所示：\n\n$$\n\\frac { \\partial E } { \\partial x _ { 1 } } = \\frac { \\partial E } { \\partial x _ { 4 } } \\cdot \\triangledown \\partial ^ { \\prime } ( s _ { 4 } ) w _ { 4 } \\cdot \\triangledown \\partial ^ { \\prime } ( s _ { 3 } ) w _ { 3 } \\cdot \\triangledown \\partial ^ { \\prime } ( s _ { 2 } ) w _ { 2 } \\cdot \\triangledown \\partial ^ { \\prime } ( s _ { 1 } ) w _ { 1 }\n$$\n\n由于权值 w 是随机初始化的，梯度消失问题是否会出现关键就在于它与激励函数导数 $\\partial ^ { \\prime } ( s )$ 的乘积是不是一个持续小于 1 的数。前面提到，为了可以应用链式法则，必须要求激活函数具备可微性，所以辛顿最初采用了与 UnitStep函数良好近似又可微的 Sigmoid 函数作为激励函数，如图 7-21 所示。可能也是这个原因，从 1986 年到 2010 年以前，即从误差反向传播算法提出一直横跨到深度学习时代的初期，大家普遍采用 Sigmoid 函数作为激活函数。\n\nSigmoid 函数的解析式是 $y = \\frac { 1 } { \\mathrm { e } ^ { - x } + 1 }$ ，对这个函数求一阶导数后的图像如图 7-22 所示，可见在零值时函数取得最大值 0.25，即 $\\partial ^ { \\prime } ( x )$ 的最大值为 0.25。\n\n278\n\n第三部分 第三波高潮","previous_page":277,"next_page":279}