| 谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。为了进一步促进中文预训练模型技术的研究与发展，哈工大讯飞联合实验室基于官方ELECTRA ELECTRA-small模型可与BERT-base甚至其他同等规模的模型相符美，而参数量仅为BERT-base的1 / 10。本项目基于谷歌＆斯坦福大学官方的ELECTRA： : 其他相关资源： MacBERT预训练模型： : 中文BERT-wwm预训练模型： : 中文XLNet预训练