COCO LM预训练（WIP） 在Pytorch中实现 ，纠正和对比文本序列以进行语言模型预训练。 他们能够以自我监督的方式进行对比学习，以进行语言模型预训练。 似乎是Electra的坚实后继者。 安装 $ pip install coco-lm-pytorch 用法 使用x-transformers库的示例 $ pip install x-transformers 然后 import torch from torch import nn from x_transformers import