| 谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。为了进一步促进中文预训练模型技术的研究与发展，哈工大讯飞联合实验室基于官方ELECTRA ELECTRA-small模型可与BERT-base甚至其他同等规模的模型相符美，而参数量仅为BERT-base的1 / 10。本项目基于谷歌＆斯坦福大学官方的ELECTRA： : 其他相关资源： MacBERT预训练模型： : 中文BERT-wwm预训练模型： : 中文XLNet预训练

| 在自然语言处理领域中，预训练语言模型（预训练语言模型）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3。 崔一鸣，车万祥，刘婷，秦兵，杨自清，王世进，胡国平 本项目基于谷歌官方BERT： : 其他相关资源： MacBERT预训练模

| 本项目提供了针对中文的XLNet预训练模型，扩展了丰富的自然语言处理资源，提供多种中文预训练模型选择。我们欢迎各位专家学者下载使用，并共同促进和发展中文资源建设。 本项目基于CMU /谷歌官方的XLNet： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文BERT-wwm预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持Te