- 输入数据标准化
了解Mini-Batch之后，我们把目光投向标准化。标准化指的是将所有数据减去其均值，再除以标准差的过程。标准化后的样本点在每个维度上分散程度更加均衡，也就是说每个特征的波动区间更加接近。设想一组包含100个记录的样本，每个样本有2个特征 $\mathrm { X } _ { 1 }$ 和 $\mathbf { X } _ { 2 0 } \quad \mathbf { X } _ { 1 }$ 分布在0\~100，而 $\mathbf { X } _ { 2 }$ 分布在0\~1。这种情况下，我们非常有必要对数据进行标准化处理的，如图7-9所示。
经过标准化处理后，样本在每一个分量的波动幅度相当。为什么要这样做呢？因为这样一来价值函数曲线将变得更加均匀、圆滑，而不是呈扁平状。而后者会导致参数的行进轨迹呈现“锯齿形”，最终花更长的时间才能抵达最优点，如图7-10所示。
像图7-10左图中出现的情况就是样本特征之间量级相差太大的结果。特征之间量级的差距直接导致参数 $^ { ( \mathrm { { w } , \mathrm { { b } } ) } }$ 在各个维度之间量级的不均衡，最终的结果就是让左图的价值函数曲线呈现扁平形状，而价值函数曲线的切面（左下图），也就是等高线呈现椭圆形。在这样一个“扭曲”的椭圆中，每个点的梯度方向和指向中心的方向会有很大的偏差，所以梯度会出现“锯齿形”行进的轨迹。当我们对训练集的样本做了标准化处理后，在验证集和测试集上不要忘了对样本做相同的处理。
人工智能与大数据技术导论
200