文件名称:
full_stack_transformer:Pytorch库用于端到端的变压器模型训练,推理和服务-源码
开发工具:
文件大小: 1mb
下载次数: 0
上传时间: 2021-03-21
详细说明:全栈变压器
Pytorch库用于端到端的变压器模型训练,推理和服务。一系列出色的图书馆。
图书馆设计
该库的组织方式使得子包包含所有建模,数据结构和数据流类。
在子程序包中,包含所有特定于任务的代码。
可用任务:
-经典的基于文档的语言模型培训。它还提供了用于交互式文本生成的应用程序服务。
文件语言模型
目前,该库中只有1个任务可用。因此,我将在README中为此示例使用一个示例。当将执行其他任务时,我将移动文档中的所有示例。
特征
自动LM数据集准备
端到端变压器LM培训
训练
用元数据(控制代码 )训练LM
文本生成技巧(top-k,,重复罚分等)
文本生成即服务
电报bot客户端
准备数据集
首先,您需要两个包含原始文档的文本文件(训练和验证)。对于此示例,文件已放置在此处:
data/documents/nietzsche/
├── train.documents
└── val
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.