今天小编就为大家分享一篇tensorflow 实现自定义梯度反向传播代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

以sign函数为例： sign函数可以对数值进行二值化，但在梯度反向传播是不好处理，一般采用一个近似函数的梯度作为代替，如上图的Htanh。在[-1,1]直接梯度为1，其他为0。 #使用修饰器，建立梯度反向传播函数。其中op.input包含输入值、输出值，grad包含上层传来的梯度 tf.RegisterGradient("QuantizeGrad") def sign_grad(op, grad): input = op.inputs[0] cond = (input>=-1)&

介绍mygrad mygrad是一个简单的以NumPy为中心的autograd库。 autograd库使您可以自动计算数学函数的导数。 该库既可以用作原型设计/测试工具，又可以作为学习基于梯度的机器学习的教育工具； 它易于安装，具有可读性和易于自定义的代码库，并提供模仿NumPy的时尚界面。 此外，尽管库很简单，它仍利用NumPy的矢量化来实现良好的性能。 这并不意味着要与PyTorch（与mygrad最相似）或TensorFlow之类的库竞争。 相反，它旨在为学习使用反向传播训练神经网络的