语言 执照 日本人 麻省理工学院 日本DistilBERT预训练模型 一个日语DistilBERT预训练模型，该模型在上进行了训练。 找到日语的快速入门指南。 目录 介绍 DistilBERT是基于Bert架构的小型，快速，便宜且轻便的Transformer模型。 与GLUE语言理解基准相比，它的参数比基于BERT的参数少40％，运行速度提高60％，同时保留BERT的97％的性能。 此模型从在AWS p3dn.24xlarge实例上使用官方的Hugging Face实施进行了2周的培训。