批量归一化（BatchNormalization） BN算法（Batch Normalization）其强大之处如下： (1)、你可以选择比较大的初始学习率，让你的训练速度飙涨。以前还需要慢慢调整学习率，甚至在网络训练到一半的时候，还需要想着学习率进一步调小的比例选择多少比较合适，现在我们可以采用初始很大的学习率，然后学习率的衰减速度也很大，因为这个算法收敛很快。当然这个算法即使你选择了较小的学习率，也比以前的收敛速度快，因为它具有快速训练收敛的特性； (2)、你再也不用去理会过拟合中drop

本节课内容批量归一化和残差网络、凸优化、梯度下降 一、批量归一化和残差网络 1.批量归一化 对输入的标准化（浅层模型）：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近。 批量归一化（深度模型）：利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 对全连接层做批量归一化 位置：全连接层中的仿射变换和激活函数之间。 对卷积层做批量归一化 位置：卷积计算之后、应用激活函数之前。 如果卷积计算

伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记 Task 06：批量归一化和残差网络；凸优化；梯度下降 微信昵称：WarmIce 批量归一化和残差网络 BN和ResNet都没什么特别好说的。 DenseNet久闻其名，但是一直没有细节了解过其实现。这一次大开眼界，原来文章里面那么密集的连线是由于concat导致的啊。 可以想象一下作者当初提出这个网络的时候是什么想的。第一，像ResNet那样子在skip之后使用加法直接把得到的特征和原特征相加会不会破坏好不容易搞出来的特