{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":202,"pdf_page":218,"physical_index":218,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"cba603e1b4715ba580c8663419687dfb7114e24c241a9b0e3b13a6ac9a7f1b9d"},"chapter":"第7章","content":"结果在第一批样本进来后，图7-11中标记的神经元被关闭，在这次传播过程中，神经网络实际上变成了图7-12的样子，一个被压缩的神经网络。\n\n这个缩小的网络适用且仅适用于这一批样本，包括正向传播与反向传播。在这次反向传播后，只有这个小网络对应的权重参数被修正。在下一批样本进来后，将所有开关打开，然后重新执行随机关闭的过程，以此类推。因此，在每次迭代中，我们在使用一个随机的、缩小的网络在训练，每次训练模型都不一样。\n\n在实际编程操作中，每一层的“开关”是通过引入一个布尔向量d[1]实现的（维度与该层输出值a[1]相同，每个维度为0或1，表示关闭或打开），让d[1]与a[1]相乘，被关闭的神经元的输出值变为0，而未关闭的神经元保留原来a[1]的数值，然后将得到的值作为新的、被修正的a[1]，并当作输入变量传递给下一层。\n\n值得注意的是，在正向传播中，每一层神经元在计算后通常要进行数值修正。第1层的激活函数计算得到的数值a[1]要除以预设值概率p，这里的p是指开关为开启的概率(如此定义便于运算）。比如p=0.7，就意味着每个神经元被关闭的概率是30%，开启的概率是70%。这样做是为了保持a[1]的后续运算单元的期望值不变。因为在Dropout之后，神经元减少，传递给下一层的被修正的a[1]的所有维度中，只有期望为 $\\mathfrak { p } ^ { * } \\mathfrak { n }$ [1]的维度为非空值。为了让z[1+1]从数值上期望不变，会在a[1]进行dropout修正之后，再进行一个数值修正a[1]=a[1]/p,这样z[1+1]的数值就不会因为Dropout而“萎缩”了。这通常被称为反向失活(inverteddropout)。\n\nDropout只用在训练过程中，一旦参数被训练好后，在测试集计算中不使用Dropout，也就是说要开启所有神经元。另外要注意的是，要记住Dropout是一种正则化方法，只有当模型确实出现过拟合时才使用，否则无须使用。\n\n人工智能与大数据技术导论\n\n202","previous_page":201,"next_page":203}