神经网络参数优化器，优化器演化流程！ 内含源码与对比各优化word文档 优化器演化流程：SGD -> SGDM -> NAG ->AdaGrad -> RMSProp/AdaDelta -> Adam -> Nadam 这样的发展历程，下面逐一介绍每个公式，不用担心公式看不懂，都是围绕上述1,2,3,4个公式带入动量参数既是优化公式。