Normalization 首先来看批量归一化（Batch Normalization）1，来源是2015年的一篇论文，这个方法现在被大量引用，可以提高神经网络训练速度，泛化能力等。 神经网络对数据集的训练，其实是在学习数据集的分布，一旦数据分布不同（Internal Covariate Shift），会带来训练速度降低（训练集分布改变）、预测能力下降（测试集分布改变）的问题，神经网络对数据分布敏感，一旦前面有微小的变化，经过网络层层传递可能会将这种变化放大。 从名字上可以了解到，BatchNo