| GuwenBERT是一个基于大量古文语料的RoBERTa模型。 在自然语言处理领域中，预训练语言模型（预训练语言模型）已成为非常重要的基础技术。古文研究和自然语言处理的结合，我们发布了古文预训练模型GuwenBERT 。 对于古文的常见任务：断句，标点，专有名称标注，目前通常采用序列标注模型。此类模型非常依赖预训练的词向量或者BERT，所以一个好的语言模型可以大大提高标注效果。通过实验，在RoBERTa效果提高6.3％ ，只需300步就可以达到中文RoBERTa的最终水平，特别适合替换语料