1.KL散度 KL散度( Kullback–Leibler divergence) (最大类间散度) 是描述两个概率分布差异的一种测度。对于两个概率分布P、Q，二者越相似，KL散度越小。 KL散度的性质：P：真实分布，Q：P的拟合分布 非负性：KL(P||Q)>=0，当P=Q时，KL(P||Q)=0； 反身性：KL(P||P)=0 非对称性：D(P||Q) ≠ D(Q||P) KL散度不满足三角不等式 from scipy import stats P = [0.2, 0.4, 0.4