优化与深度学习
在前面的介绍中,我们的训练过程是通过对损失函数求偏导进行梯度下降的方式进行训练,以使loss的函数值降低,最终得到一个最小损失函数值,这时候的模型可以说是训练好的模型。但是对于下面的这种情况,函数值出现了局部的低点和全局的低点。
%matplotlib inline
import sys
sys.path.append('/home/kesci/input')
import d2lzh1981 as d2l
from mpl_toolkits import mplot3d # 三