修正亚当为凯拉斯 修正Keras港口，摘自 修正的ADAM 上面的图片来自本文。 本文的众多贡献之一是，有预热的亚当往往比没有预热的亚当表现更好。 但是，当亚当在没有预热的情况下使用时，在初始迭代期间，梯度具有较大的方差。 这种较大的差异会导致最小值的过冲，从而导致较差的最优值。 另一方面，热身是在前几个时期以非常低的学习率进行训练的想法，以抵消这一较大的差异。 然而，预热的程度-应该使用多长时间和什么学习速率需要广泛的超参数搜索，这通常是昂贵的。 因此，整流ADAM提出了一种动态方差减少