开发工具:
文件大小: 209kb
下载次数: 0
上传时间: 2019-03-03
详细说明：哈工大研究生课程讲义高斯分布参数的极大似然估计，EM算法高斯混合模型算法的迭代公式推导
我们首先来推导般混合密度模型参数估计的算法达代公式,然后再将般的混合
密度模型具体化为髙斯混合模型。
混合密度模型
假设样本集={x1,…,x}中的样本相互独立,并且按照如下的过程产生:
样木是依据桃率由个分布中的一个产生的,分布的概率密度数为(x0),
1,,,0为分布的参数
由第个分布产生样本的先验概率为a
先验概率a=(a1…,a),以及分布的参数日,…,0均未知。
我们称样本集来自于一个混合密度模型,混合密度模型的概率密度函数为
(x0)=∑a(x0)
其中6=(a,,…,0)为模型的参数,每个(x)称为一个分量密度。
混合密度模型参数估计的迭代公式
泥合密度模型的参数估计中,由丁样木是由哪个分量密度所产生的信息={1…,}
是未知的,因此需要将其视作丢失信息,使用算法进行估计。算法中步和步
的达代公式
步:()[m(,o),0]
()
步:6= arg max(o:0
其中刂是对参数的一个猜测值。步计算的是在已知样本集和参数猜测值6的
条件下期望对数似然函数:而步则是对(00)的优化,更新参数的猜测值设置:=
进入下一轮迭代。
步期望对数似然函数()的推导
训练样本x是由第个分量密度函数产生的
1,…,,这两个随机事件的联合概
率密度
0=a x0
因此,关于完整数据集={,}的对数似然函数为
()h(,0)=∑a(x0)
另外根据贝叶斯公式,在知参数的一个猜测值6=(a,…a,0…日)和样本x的
条件下,x由第个分量产生的概率为:
x, 0
x
0
考虑到样本的独立同分布性,只与x有关,独立于其它x和
,因此:
,0
)=∏(x0)
将()、()式代入到()式步的期望对数似然函数,同时考虑到每一个是离散
的,只取{…,}中的某一个值,对的数学期望可以由如下的求和式计算:
e)=∑∑…∑hn(,e)(
∑222(n()
∑Σ…∑∑∑,a((x
22alg(0]232.I
其中:
由于∑(x,0)=1,因此()式内层大括号中的内容可以简化为
222(k)2∑22M(k)
,⊙
()式第步过程使用的是乘法的分配率。代入()式可得:
)=∑∑(x)(x,o
1=1
∑∑ma(x,)+∑∑m(x0)(x,0
上式中的期望对数似然函数(0)只是参数的函数,而x…x以及均为已知。
步期望对数似然函数(e;6)的优化:
下血来求解公式()步的优化问题,需要注意的是参数u=(a1…,a)存在约東
∑a=1,囚此构造
函数:
e,)+),a-1
∑∑ma(x,)∑Σmn(x1)(x
e)+a∑a
函数对a求偏导数及极值:
0(
∑|-(x,)+=0
因此有:
+∑(x,0)=0
等式对求和:
∑+∑()=②+Σ∑(x°)=+=0
因此
系数
代入()式得到关于混合密度组合系数的估计公式
x. e
其中(x,0)可以由()式计算。
高斯混合模型参数估计的迭代公式
对于每一个分量密度函数参数的佔计,需要考虑具体的分量密度函数形式,下面推导高
斯混合模型中分量高斯的均值矢量μ和协方差矩阵Σ的佔计公式
高斯混合模型中,第个分量密度函数是一个高斯函数:
(x)=,2、xp-(x-p)x(xp)
考虑到()式
函数中第项和第项与均值欠量μ和协方差矩阼∑无关,
在优化时不起作用,为了书写简单可以将其省略。将高斯函数代入()式:
(,)=∑∑mn(x)(x)
首先对μ求偏导数及极值
0(e
μ
∑x(x,)-∑(x
两边左乘∑,可以得到均值矢量μ的估计公式:
∑x(x0)/∑(xo)
)式对∑求偏导数及极值(具体过程参见高斯分布参数最大似然估计的推导过程):
0(,)
∑‖212x12-2(x-)(x-)(0)
∑(0)Σ(,0)x-)s-
0
因此得到协方差矩阵Σ的估计公式:
∑(x。)x-)-)/∑(x0)
总结()、()、()和()式,得到髙斯混合模型参数估计算法第轮的迭
代公式:
其中(x0-)为高斯函数
x,⊙
μ
∑(x)x)x-)/∑(。)
页,例的详细推导过程
二维空间中个样本,其中的一个样本丢失个特征:
2八0八(2(4
假设样本满足正态分布,协方差矩阵为对角阵,算法估计参数:
初始参数:0
推导
首先计算已知参数θ的条件下,参数0的对数似然函数
步
(6:0)
0),x,x3
其中
0)+ln
0
41742
0
41
1-2πo1o20
2
2c
41-10
exp
ex
√2江o
2
√2πσ
将()和()带入():
(:0)
In(x e)(aI
In
100,42
(x1)+-∫.n(…s)(,)
其中
(4,2()=ln
l
μ1
μ2
2c
2σ
(2πσ
2c
26
将()带入():
(9)=∑n(x0)-∫(2xg)
2
2
∑ln(xθ)-ln(27o2)
μ1
2
2
计算积分:
(4-1)
(-u2)
41-H1) cxp
1
|e,)=2:×2o
积分公式
2
0
μ√2几
带入():
2
十
4πσ
(1+=)
()带入():
(00)
(x|0)-ln(2xa2)
+H
2
In(2
2σ2
-ln(27002
)2(1+2)
2
步
∑(-H
μ2)(4-H2)
0
1(1+
(-+(+)3
μ
E(-y4-)
维高斯分布均值的贝叶斯估计
样本集-{1…}来自于维高斯分布(q2),其中方差a2是已知的,计算均值
∥的贝叶斯估计。假设均值的先验()-(,)是以为均值,a为方差的高斯分布。
首先计算的后验概率密度(山),根据贝叶斯公式:
4)(
由于()=()()是与及无关的数,因此令
样本集={1…}是独立同分布的,因此:
C
4-P
2
2(a∑2-2+=+4正%+而
Ao exp
=a"cxp 20 00
上述过程中分次对与无关项进行」归并,其中:
g a =a exp
1∑+
2a
由上面的推导结果可以看出,()的指数部分是关于的一次函数,由此可以断定
(川)服从高斯分布:(叫4)-(2)
Ll
对比()式和()式,可以得到
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
