雷亚当 介绍 我们提供了RecAdam （召回亚当）优化器，以促进微调深度预训练的语言模型（例如BERT，ALBERT），从而减少遗忘。 有关详细的描述和实验结果，请参阅我们的论文：（EMNLP 2020接受）。 环境 python > = 3.6 pytorch > = 1.0.0 transformers > = 2.5.1 档案文件 RecAdam.py ：此文件包括RecAdam优化器实现，该实现由从AdamW优化器实现修改而来。 run_glue_with_Rec