描述 FairScale是PyTorch扩展库，用于在一台或多台机器/节点上进行高性能和大规模培训。 该库扩展了基本的PyTorch功能，同时添加了新的实验功能。 FairScale支持： 并行性： 管道并行性（fairscale.nn.Pipe） 分片训练： 优化程序状态分片（fairscale.optim.oss） 分片式洁牙机-自动混合精度 分片分布式数据并行 大规模优化： AdaScale SGD（从fairscale.optim导入AdaScale） 要求 PyTorch&g