采用Matlab实现梯度下降各种优化算法，进行函数逼近，优化算法包括冲量法、NAG、Aagrad、RMSProp、Adam算法。可以通过该实验进行各种算法的比较，可以自行调整参数查看实验效果。

里面有各种梯度下降法：SGD、Momentum、NAG、Aagrad、RMSProp、Adam算法代码；

MatDL MatDL是MATLAB中的一种开源轻量级深度学习库，它实现了一些最常用的深度学习算法。 该库包含实现以下功能的功能：（1）现代神经网络的基本构造块，例如仿射变换，卷积，非线性运算，辍学，批归一化等； （2）流行的体系结构，例如深层神经网络（DNN），卷积神经网络（ConvNets）和递归神经网络（RNN）及其变体，长短期记忆（LSTM）RNN； （3）优化器，例如随机梯度下降（SGD），RMSProp和ADAM； 以及（4）用于训练，梯度检查等的样板功能。 安装 将MatDL添加