AdamP：降低比例不变权重的动量优化器的减慢速度（ICLR 2021） AdamP和SGDP优化器的PyTorch官方实施|| Byeongho许*，Sanghyuk春*，洪城俊哦，Dongyoon汉，尚道蕴，Gyuwan金，Youngjung嗯，正宇哈。 *表示相等的贡献 NAVER AI LAB，NAVER CLOVA 抽象的 规范化技术是现代深度学习的福音。它们使权重收敛更快，通常具有更好的泛化性能。有人认为，权重之间的归一化引起的尺度不变性为梯度下降（GD）优化器提供了有利的基础：有