关于 该存储库包含研究代码，用于测试在以儿童为导向的小型语料库中训练的RoBERTA小模型（来自美国英语儿童的5M个单词）。我们的模型是使用transformers Python包实现的，该包由huggingface维护。 历史 2020年（Spring）：BabyBERTa项目源于Cynthia Fisher，Dan Roth，Michael Connor和Yael Gertner领导的BabySRL项目，可找到其发表的作品。对于定制（较小尺寸）版本的BERT的SRL和MLM联合培训没有多大益