文件名称:
gpt-neox:基于DeepSpeed库的GPU上类似于GPT-3的模型并行模型的实现。 设计成能够训练数千亿甚至更大参数的模型-源码
开发工具:
文件大小: 209kb
下载次数: 0
上传时间: 2021-03-08
详细说明：GPT-NeoX
该存储库记录了正在进行的用于训练大规模GPU语言模型的工作。 我们当前的框架基于NVIDIA的，并通过技术以及一些新颖的优化功能得到了增强。
如果您正在寻找我们的TPU代码库，请参阅 。
GPT-NeoX正在积极开发中，而且边缘还很粗糙。 GPT-NeoX是一种复杂的野兽，需要时间和患者才能在任何特定环境下工作。
入门
我们的代码库依赖 ，它是对库的自定义修改。 我们强烈建议您在从requirements.txt安装之前使用Anaconda，虚拟机或其他形式的环境隔离。 否则，可能导致依赖DeepSpeed的其他存储库损坏。
数据集
一旦安装了requirements.txt ，下一步就是获取和处理数据。 出于演示目的，我们托管了Enron电子邮件语料库，并可供下载。 运行python prepare_data.py将下载并处理数据集以进行语言建模。 要使用您自己的
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
