文件名称:
Adam优化算法原理详解（吴恩达深度学习笔记）
开发工具:
文件大小: 454kb
下载次数: 0
上传时间: 2021-01-06
详细说明：在介绍Adam之前首先介绍一下momentum和RMSprop优化算法。
一、momentum
1、指数加权平均数
指数加权平均数不仅考虑了当前数值也涵盖了以前的数据对现在的影响。
解释指数加权平均值名称的由来：
指数加权平均值的应用：
使用这种方法进行数据的估计可能不是最精确的，但是这种方法计算简单，节省内存。
指数加权平均数因为设置的第0个值为0，所以对于前几个数都会出现严重的偏差，所以引入了偏差修正。
2.指数加权平均数的偏差修正
3.momentum算法
此算法是梯度下降算法的一种改进，在神经网络的反向传播过程中，不再只依赖当前参数的下降梯度进行参数的更新，也依赖以前几轮的参数和参数
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
