向山下前进的方向由梯度决定,而每步行走的长度一般是人为选定的值,这个步长幅度被称为“学习速率”。行进中选择一个合理的学习速率很重要,如果学习速率过小,则会导致优化过程收敛速度很慢,需要踏出很多步、重复很多次梯度计算的过程,如果学习速率过大,则有可能阻碍收敛,如过大的步长,跨过了最低点,导致在低谷附近反复振荡。以下用伪代码来表述利用梯度下降算法求出最佳参数值的完整步骤:
第 6 章 机器学习概览
223
奎克的藏经阁 · 原书印刷页
PDF 物理页索引 238 · 内容简介
向山下前进的方向由梯度决定,而每步行走的长度一般是人为选定的值,这个步长幅度被称为“学习速率”。行进中选择一个合理的学习速率很重要,如果学习速率过小,则会导致优化过程收敛速度很慢,需要踏出很多步、重复很多次梯度计算的过程,如果学习速率过大,则有可能阻碍收敛,如过大的步长,跨过了最低点,导致在低谷附近反复振荡。以下用伪代码来表述利用梯度下降算法求出最佳参数值的完整步骤:
第 6 章 机器学习概览
223