文件名称:
UER-py：PyTorch和预训练的模型动物园中的开源预训练模型框架-源码
开发工具:
文件大小: 23mb
下载次数: 0
上传时间: 2021-02-03
详细说明：|
预培训已成为NLP任务的重要组成部分，并带来了显着的进步。 UER-py（通用编码器表示形式）是用于对通用域语料库进行预训练并针对下游任务进行微调的工具包。 UER-py保持模型模块化并支持研究的可扩展性。 它有助于使用不同的预训练模型（例如BERT，GPT，ELMO），并为用户提供了进一步扩展的界面。 使用UER-py，我们建立了一个模型动物园，其中包含基于不同语料库，编码器和目标的预训练模型。
最近，我们收到了经过预训练的[中国36层RoBERTa]（ ）和[中国36层RoBERTa-WWM]（ ）模型使用腾讯云TI-ONE（有关详细配置，请参阅models / bert_xlarge_config.json）。 有人告诉我们，36层RoBERTa在某些下游任务（例如XNLI和CMRC2018）上取得了改进，并且具有更多语料库和训练步骤的模型将在不久的将来发布。 我们期待用户对此模型的反馈。 对于大型模型，我们建议使用较小的学习率（例如1e-5）。
目录
产品特点
UER-py具有以下功能：
重现性。 UER-py已在许多数据集上进行了测试，应该与原始预训练模型实现
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
