最优化算法python实现篇(4)——无约束多维极值(梯度下降法)摘要算法简介注意事项算法适用性python实现实例运行结果算法过程可视化
摘要
本文介绍了多维无约束极值优化算法中的梯度下降法,通过python进行实现,并可视化展示了算法过程。
算法简介
给定初始点,沿着负梯度方向(函数值下降最快的方向)按一定步长(机器学习中也叫学习率)进行搜索,直到满足算法终止条件,则停止搜索。
注意事项
学习率不能太小,也不能太大,可以多尝试一些值。当然每次沿着负梯度方向搜索时,总会存在一个步长使得该次搜索