文件名称:
shortformer:Shortformer模型的代码，摘自Ofir Press，Noah A. Smith和Mike Lewis的论文-源码
开发工具:
文件大小: 3mb
下载次数: 0
上传时间: 2021-03-21
详细说明：简称
该存储库包含代码和Shortformer模型的最终检查点。该文件说明了如何在WikiText-103数据集上运行我们的实验。在阅读全文。
Shortformer是两种方法的组合：
分阶段训练：我们首先在短输入子序列上训练模型，然后在长输入子序列上训练模型。这样既提高了火车速度，又提高了评估的难度。
注入位置的注意力+缓存：我们缓存先前计算的子序列表示形式，并使用注入位置的注意力关注它们。注入位置的注意力会修改模型，从而不会将位置嵌入添加到网络底部的单词嵌入中，而是将它们添加到关注子层中的键和查询中（但不添加到值中）。我们表明，PIA +缓存极大地加快了生成速度，并提高了困惑度。
分阶段训练无需修改原始代码。要查看我们如何实现位置灌输的注意和缓存，请单击 。实施PIA和缓存非常容易，我们在代码中提供了详细的注释，以解释我们如何做到这一点。
如果您使用此代码或我们的论文结果，请引用：
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
