今天小编就为大家分享一篇tensorflow 查看梯度方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

目录 环境 介绍 机器学习步骤 深度学习、机器学习、人工智能三者的关系 神经网络 二分类逻辑斯地回归模型 多分类逻辑斯地回归模型 目标函数（损失函数） 主要类型 举例 神经网络训练 训练目标 梯度下降算法 TensorFlow实现 计算图模型 命令式编程 声明式编程 二者的对比 数据处理 下载数据 准备工作 读取数据 查看数据 数据读取及预处理整体代码 构建模型 构建计算图 构建模型整体代码 初始化及运行模型 整体代码 注意事项 参考资料 环境 python 3.6 + TensorFlow 1

1. 为什么要查看梯度 对于初学者来说网络经常不收敛，loss很奇怪（就是不收敛），所以怀疑是反向传播中梯度的问题 （1）求导之后的数（的绝对值）越来越小（趋近于0），这就是梯度消失 （2）求导之后的数（的绝对值）越来越大（特别大，发散），这就是梯度爆炸 所以说呢，当loss不正常时，可以看看梯度是否处于爆炸，或者是消失了，梯度爆炸的话，网络中的W也会很大，人工控制一下（初始化的时候弄小点等等肯定还有其它方法，只是我不知道，知道的大神也可以稍微告诉我一下~~），要是梯度消失，可以试着用用resn

TensorFlow概率 TensorFlow概率是TensorFlow中用于概率推理和统计分析的库。 作为TensorFlow生态系统的一部分，TensorFlow概率提供了概率方法与深度网络的集成，通过自动微分的基于梯度的推理以及通过硬件加速（例如GPU）和分布式计算的大型数据集和模型的可伸缩性。 我们的概率机器学习工具的结构如下。 第0层：TensorFlow。 数值运算。 特别是，LinearOperator类可实现无矩阵实现，该实现可利用特殊结构（对角，低秩等）进行高效计算。 它由