什么是标签平滑？在PyTorch中如何去使用它？ 在训练深度学习模型的过程中，过拟合和概率校准(probability calibration)是两个常见的问题。一方面，正则化技术可以解决过拟合问题，其中较为常见的方法有将权重调小，迭代提前停止以及丢弃一些权重等。另一方面，Platt标度法和isotonic regression法能够对模型进行校准。但是有没有一种方法可以同时解决过拟合和模型过度自信呢? 标签平滑也许可以。它是一种去改变目标变量的正则化技术，能使模型的预测结果不再仅为一个确定值。

1.softmax交叉熵损失的数学公式 设存在一个三分类问题，样本经模型最后的FC层的输出向量（即logits）为 则3个类别的预测概率依次为 假设样本的概率分布为 此时，交叉熵损失函数为 2.softmax交叉熵损失的计算实例 import numpy as np def softmax(x): exp_x = np.exp(x) softmax_x = exp_x / np.sum(exp_x) return softmax_x def loss(y, y_p