LDA模型的理解对很多人是一种挑战,尤其是参数估计部分。本文档详细给出了TOTLDA和LDA两个主题概率模型的参数估计需要用到的后验概率的推导过程,并采用了两种方法,对主题概率模型研究人员具有很好的启发意义!Gibbs Sampling Derivation for LDA and ToT, Han Xiao, Ping luo
Gibbs sampling:为了对x进行佔计,一般我们要从
P(X)≡P
中进行抽样。如果P(X)不易求得,我们可以通过对所有的P(x|X_)进行抽样来近似
其步骤如