PyTorch KFAC 该存储库旨在将大多数原始KFAC移植到PyTorch。 为什么要使用KFAC？ KFAC是自然梯度的近似值，即，它是一种近似的二阶方法，允许以较大的步长为代价，但会花费计算时间。 这应该能够实现更快的收敛。 用法 安装 git clone https://github.com/n-gao/pytorch-kfac.git cd pytorch-kfac python setup.py install 例子 示例中提供了examples笔记本。 必须启用对向前通过和