2021-GAIIC-Track1-idea 非常荣幸能够拿到本周周星星，目前线上分数是5折nezha-base模型融合得到，采用pretrian + finetuning，具体细节如下： 预训练 由于数据是脱敏，所以直接从头开始训练bert模型，没有加载已有的预训练模型权重，模型采用的是nezha-base，代码参考； mask方法：采用ngram mask方法，以及动态mask方法，具体可以参考： 预训练代码使用的是tansformers模块自带的，具体可以参考； 预训练参数：lr =