文件名称:
keras_rectified_adam:在Keras中实施整流的Adam-源码
开发工具:
文件大小: 486kb
下载次数: 0
上传时间: 2021-03-10
详细说明：修正亚当为凯拉斯
修正Keras港口，摘自
修正的ADAM
上面的图片来自本文。 本文的众多贡献之一是，有预热的亚当往往比没有预热的亚当表现更好。 但是，当亚当在没有预热的情况下使用时，在初始迭代期间，梯度具有较大的方差。 这种较大的差异会导致最小值的过冲，从而导致较差的最优值。
另一方面，热身是在前几个时期以非常低的学习率进行训练的想法，以抵消这一较大的差异。 然而，预热的程度-应该使用多长时间和什么学习速率需要广泛的超参数搜索，这通常是昂贵的。
因此，整流ADAM提出了一种动态方差减少算法。
用法
将rectified_adam.py脚本添加到您的项目中，然后将其导入。 可以替代Adam Optimizer。
请注意，当前仅支持基本的整流亚当，不支持EMA缓冲变体，因为Keras在图形模式下无法索引当前时间步。 这可能会在Tensorflow 2.0急切执行模式下修复。
fr
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
