开发工具:
文件大小: 692kb
下载次数: 0
上传时间: 2021-03-07
详细说明：基于递归神经网络（RNNLM）的神经语言模型极大地提高了文本生成的性能，但是以图灵测试通过率表示的生成文本的质量仍然远远不能令人满意。 一些研究人员建议使用对抗训练或强化学习来提高质量，但是，这种方法通常会在训练和参数调整过程中带来巨大挑战。 通过我们的分析，我们发现RNNLM的问题来自最大似然估计（MLE）作为目标函数的使用，这需要生成的分布来精确地恢复真实分布。 这种要求有利于高世代多样性，这限制了世代质量。 当整体质量较低时，这是不合适的，因为高世代多样性通常表示很多错误，而不是多样化的好样本。 在本文中，我们建议实现差异化的分布恢复，简称DDR。 关键思想是使最佳生成概率与真实概率的β次方成正比，其中β>1。这样，可以通过牺牲噪声和稀有模式的多样性来大大提高生成质量。 。 在合成数据和两个公共文本数据集上的实验表明，与包括RNNLM，SeqGAN和LeakGAN的基线方法相比，我们的DDR方法在质量-多样性折衷和更高的图灵测试通过率上更为灵活。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
