语言模型预训练已经显示出可以捕获数量惊人的世界知识，这对于NLP任务(例如问题 解答)至关重要。但是，此知识隐式存储在神经网络的参数中，需要更大的网络才能 覆盖更多的事实。 为了以更模块化和可解释的方式捕获知识，我们使用潜在的知识检索器增强了语言模 型的预训练，检索器使模型可以从预训练、微调和推理期间使用的大型语料库(如 Wikipedia)中检索并使用文档。首次，我们展示了如何使用蒙版语言建模作为学习信 号并通过考虑数百万个文档的检索步骤进行反向传播，从而以无监督的方式对这种知

REALM: Retrieval-Augmented Language Model Pre-Training 从ELMO、BERT和GPT到如今多种多样的预训练模型的横空出世，pre-training + fine-tune逐渐成为了NLP中建模的新范式，众多研究人员也不断的针对于Transformer和预训练做出改进，其中包括对Transformer本身结构的改进、预训练策略的调整、预训练结合多任务学习……甚至已有文章将其和视觉等其他的领域任务进行融合，同样取得了不错的效果。 本文提出了一