从预培训到部署的带有SentencePiece的fast.ai ULMFiT 动机：为什么还要打扰非BERT / Transformer语言模型？ 简短的答案：您可以使用ULMFiT在有限的数据和负担得起的硬件上训练最先进的文本分类器。 使用RTX 3090在我的工作站上，整个过程（准备Wikipedia转储，预训练语言模型，微调语言模型和训练分类器）大约需要5个小时。使用FP16训练模型所需的VRAM少于8 GB-因此您可以在负担得起的GPU上训练模型。 我还在fast.ai的路线图上看到