今天小编就为大家分享一篇Pytorch 多块GPU的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

注：本文针对单个服务器上多块GPU的使用，不是多服务器多GPU的使用。 在一些实验中，由于Batch_size的限制或者希望提高训练速度等原因，我们需要使用多块GPU。本文针对Pytorch中多块GPU的使用进行说明。 1. 设置需要使用的GPU编号 import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,4" ids = [0,1] 比如我们需要使用第0和第4块GPU，只用上述三行代码即可。 其中第二行指程序只能看到第1块和第4块GPU； 第三行的