是一个深度学习优化库，可让分布式培训变得轻松，高效和有效。 10倍大型号 训练速度提高10倍 最小的代码更改 DeepSpeed为所有人提供了极端规模的模型培训，从在大型超级计算机上进行数据科学家培训到在低端群集甚至在单个GPU上进行培训的人员： 极高的规模：使用当前拥有数百个设备的GPU集群，DeepSpeed的3D并行性可以有效地训练具有数万亿参数的深度学习模型。 极高的内存效率：DeepSpeed的ZeRO-Offload仅需一个GPU，即可训练具有超过10B参数的模型，比现有技术大