电子 介绍 ELECTRA是一种用于自我监督的语言表示学习的方法。 它可以用于使用相对较少的计算来预训练变压器网络。 训练ELECTRA模型以区分由另一个神经网络生成的“真实”输入令牌与“伪”输入令牌，这与的鉴别器类似。 即使在单个GPU上进行训练，ELECTRA在小规模上也能获得出色的结果。 大规模地，ELECTRA在数据集上获得了最新的结果。 有关详细说明和实验结果，请参考我们的ICLR 2020文件。 该存储库包含用于预训练ELECTRA的代码，包括单个GPU上的小型ELECTRA模型