{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":324,"pdf_page":340,"physical_index":340,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"055b408ce1430d28014efb67c498e8669e03094b12293a4df21bfa8a1165c9d2"},"chapter":"第10章","content":"如果学习速率太高，就会出现极不稳定的情况，模型中就可能出现NaN。在这种情况下，就要以较低的学习速率再试一次。\n\nReLU 单元消失\n\n一旦ReLU单元的加权和低于0，ReLU单元就可能会停滞。它会输出对网络输出没有任何贡献的0激活，而梯度在反向传播算法期间将无法再从中流过。如果最终所有内容都低于0值，梯度就无法反向传播，由于梯度的来源被切断，ReLU的输入可能无法做出足够的改变来使加权和恢复到0以上。降低学习速率有助于防止ReLU单元消失。\n\n10.2.3 标准化特征值\n\n训练时，如果特征值在输入时就已经标准化（normalize），通常会对我们非常有用。如果范围大致相同，就有助于提高神经网络的转化速度。虽然范围实际值并不重要，但是我们通常推荐的大致范围是-1\\~+1。正因为如此，标准化特征值有时叫作“归一化”。它是为了加快训练网络的收敛性，避免空值。\n\n由于采集的各数据单位不一致，因而需对数据进行[-1，1]归一化处理，归一化的具体作用是归纳统一样本的统计分布性。归一化在0和1之间是统计的概率分布，归一化在-1和+1之间是统计的坐标分布。无论是为了建模还是为了计算，首先基本度量单位要统一，神经网络是以样本在事件中的统计概率来进行训练（概率计算）和预测的，归一化是统一在0和1之间的统计概率分布。\n\n当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减小，从而导致学习速度很慢。为了避免出现这种情况，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号的均值接近于0或与其均方差相比很小。\n\n10.2.4 丢弃正则化\n\n在训练深度网络时还有一个很有用的技巧，即正则化的另一种形式，叫作丢弃(Dropout)，可用于神经网络。其工作原理是，在梯度下降法的每一步中随机丢弃一些网络单元。丢弃得越多，正则化效果就越强：\n\n● 0.0= 无丢弃正则化。\n\n●1.0=丢弃所有内容。模型学不到任何规律。\n\n0.0和1.0之间的值更有用。\n\n若一个都不丢弃，则模型便具备完整的复杂性；若在训练过程中的某个位置进行丢弃，则相当于在这个位置应用了某种有效的正则化。丢弃的目的也是用来减少过拟合。而和L1、L2正则化不同的是，丢弃是改变神经网络本身的结构。假设有一个神经网络，按照前面的方法，根据输入X，先正向更新神经网络，得到输出值，然后反向根据backpropagation算法来更新权重和偏向。而丢弃不同的是：\n\n人工智能与大数据技术导论\n\n324","previous_page":323,"next_page":325}