基于递归神经网络(RNNLM)的神经语言模型极大地提高了文本生成的性能,但是以图灵测试通过率表示的生成文本的质量仍然远远不能令人满意。 一些研究人员建议使用对抗训练或强化学习来提高质量,但是,这种方法通常会在训练和参数调整过程中带来巨大挑战。 通过我们的分析,我们发现RNNLM的问题来自最大似然估计(MLE)作为目标函数的使用,这需要生成的分布来精确地恢复真实分布。 这种要求有利于高世代多样性,这限制了世代质量。 当整体质量较低时,这是不合适的,因为高世代多样性通常表示很多错误,而不是多样化的好