全栈变压器
Pytorch库用于端到端的变压器模型训练,推理和服务。一系列出色的图书馆。
图书馆设计
该库的组织方式使得子包包含所有建模,数据结构和数据流类。
在子程序包中,包含所有特定于任务的代码。
可用任务:
-经典的基于文档的语言模型培训。它还提供了用于交互式文本生成的应用程序服务。
文件语言模型
目前,该库中只有1个任务可用。因此,我将在README中为此示例使用一个示例。当将执行其他任务时,我将移动文档中的所有示例。
特征
自动LM数据集准备
端到端变压器LM培训
训练
用元数据(控制