GPT-NeoX 该存储库记录了正在进行的用于训练大规模GPU语言模型的工作。 我们当前的框架基于NVIDIA的，并通过技术以及一些新颖的优化功能得到了增强。 如果您正在寻找我们的TPU代码库，请参阅 。 GPT-NeoX正在积极开发中，而且边缘还很粗糙。 GPT-NeoX是一种复杂的野兽，需要时间和患者才能在任何特定环境下工作。 入门 我们的代码库依赖 ，它是对库的自定义修改。 我们强烈建议您在从requirements.txt安装之前使用Anaconda，虚拟机或其他形式的环境隔离。