文章目录梯度下降的变化1. SGD随机梯度下降2. Momentum3. Adagrad4. RMSprop5. Adam数据预处理1. 中心化2. 标准化3. PCA主成分分析4. 白噪声权重初始化1. 随机初始化2. 稀疏初始化3. 初始化偏置(bias)4. 批标准化(Batch Noemalization)防止过拟合1. 正则化2. Dropout
梯度下降的变化
1. SGD随机梯度下降
每次使用一批(batch)数据进行梯度的计算,而不是计算全部的梯度
2. Momentum
SGD