今天小编就为大家分享一篇关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

torch.optim的灵活使用详解 1. 基本用法： 要构建一个优化器Optimizer，必须给它一个包含参数的迭代器来优化，然后，我们可以指定特定的优化选项， 例如学习速率，重量衰减值等。 注：如果要把model放在GPU中，需要在构建一个Optimizer之前就执行model.cuda()，确保优化器里面的参数也是在GPU中。 例子： optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9) 2. 灵活的设置各