哈工大讲义PCA算法Fisher准则，主成分分析，哈工大研究生课程其中ˆ是根据()式将由原坐标系变换

文件名称: 哈工大讲义PCA算法Fisher准则

所属分类: 讲义

开发工具:

文件大小: 596kb

下载次数: 0

上传时间: 2019-03-03

提供者: qq_27******

下载 (596kb)

不能下载？报告错误

详细说明：哈工大讲义PCA算法Fisher准则，主成分分析，哈工大研究生课程其中ˆ是根据()式将由原坐标系变换到新坐标系卜,然后再根据()式只使用前’个特征恢复的近似矢量。如果用表示第个样本在新坐标系下的第维特征,由() 式和()式可以得到: 代入到()式: ∑[(-p)(-p) ∑|∑(-)(-) 其中第行到第行利用了{…}是新坐标系的基矢量,因此构成了一个标准止交系: 而第行到第行则是基于如下事实:是一个标量,它的转置与其自身相等,并且有()式成立,因此=(-)=[(-p)。如果定义矩阵: ∑(-p)(-p) 恰好是样本集的协方差矩阵,则()式的优化问题变为: 仔细观察()式会发现,直接求解这个优化问题是没有意义的。由于Σ是半正定矩阵因此当… 时取得最小值,显然零矢量并不能作为基矢量,导致这样结果的原因在于优化()式时没有约束的长度。主成分分析在求解新坐标系的基矢量时优化的是如下的约束问题 ∑ 约束有约束优化问题可以通过构造数转化为无约束问题(参见最优化方法): (……)=∑E-∑2(-) 对每个基矢量求导数其中利用到了Σ为对称矩阵的事实。由此得到优化问题()的解应满足: ∑= 显然,使得上式成立的λ和分别为矩阵Σ的特征值和对应的特征矢量。由此我们可以得到这样的结论:如果我们希望将一个样本集合中的维特征矢量在一个新的坐标系下只用个特征进行表示,那么应该将新坐标系的坐标原点放在的均值μ的位置,而以集合的协方差矩阵的特征矢量作为基矢量,这样可以保证只用保留的’维特征恢复原矢量时均方误差最小。通过这样的方式可以得到一个最优的新坐标系,注意到∑是一个×的矩阵,存在个特征值和特征矢量,现在的问题是我们只希望保留新坐标系中的〃个坐标,应该保留哪些坐标才能够保证恢复出的维特征矢量的均方泆差最小?回到优化问题(),将()式代入优化函数: ∑λ=∑λ 要使得(…)最小,只需要选择λ+…λ是Σ最小的-′个特祉值。这里需要注意一点,在整个推导过程中我们约定的是要保留新坐标系下前'个特征,而放弃掉后面的-′个特征,因此仁新的坐标系下应该选择保留的是Σ最大的′个特征值对应的特征矢量作为新坐标系的基矢量 ●基于 Fisher准则的可分性分析算法的推导样本下面先从种简单的情况入手来研究这个问题,我们将两个类别的样本向条通过坐标原点的直线上投影,也就是用维特征来表示维欠量,希望在维空间中两类样本的可分性最大。从图可以看出在不同方向的直线上,两类样本的可分性是不同的,如果想要找到一个最优的投影直线方向,首先需要对维空间中样本的可分性进行度量。图二维模式在一维空间的投影假设两类问题的样本集为 ()…(},投影直线的单位矢量为,维空间的矢量在这条直线上的投影为一个标量: 两类样本集经过投影之后成为标量集:→y={0…(),→y2={0)…()} 不同类样本的分散程度越大,同类样本的聚集程度越高则类别之间的可分性越强。在维空间中可以用两个类别样本均值之差的平方(-)来度量两类样本的分散程度;而样本类内的离散程度可以用样本的方差之和来度量综合老虑类内的聚集程度和类间的分散程度,可以建立如下的准则准则函数的值越大,类别的可分性则越强。下面写出准则函数()关于投影直线方向矢量的显式表达式,首先计算投影之后类别的均值: 投影之后两类均值之差的平方可以表小为: μ-μ)(μ-μ 其中=(μ-")(μ-μ)是类间散布矩阵(假设两类的先验概率相等)。类似的 ∑(-) ∑(-) ∑(-#)(- 其中=∑。(-p)(μ)类似于类内散布矩阵。总的方差 ()、()式代入准则,可以得到如下优化问题: 1=p 上式也被称为是商的优化问题。实际上这个问题存在着无穷多个解,因为如果是一个最优解的话,对于任意的≠,同样是最优解。我们真正关心的是投影矢量的方向,而不关心它的长度(可以规格化为单位矢量),因此可以通过适当调整‖使得准则的分母等」一个常数。这样我们就得到了一个有约束的优化问题: 约束构造数转化为无约束优化: 对求导: 因此有: 满足上式的A和称为关于和的广义特征值和特征矢量,如果的逆矩阵存在的话,有: λ和分别是矩阵ˉ的特征值和对应的特征矢量。与主成分分析样,是个的方阵,存在个特征值和个特征矢量,哪一个特征矢量使得准则取得最大值?将满足()式的一个特征矢量代入()式由此可见最大特征值对应的特征矢量是使得准则取得最大值的方向矢量。通过这样一个推导过程我们可以得出如下结论:两个类别的样本向一条直线上投景,当直线的方向矢量为矩阵最大特征值对应的特征矢量时,可以使得投影之后样本在维空间中具有最大的可分性。下面将这个问题推广到个类别的样本向′个方向上的投影,即将维特征降维为′ 个特征,使得降维之后的样本具有最大的可分性。首先定义矩阵: ∑ ∑(μ-p)(μ-μ 其中μ为所有样本的均值矢量。可以证明使得准则最大的′个投影矢量是对应于矩阵最大′个特征值的特征矢量。 ●KPcA方法的推导首先证明该样本集合协方差矩阵的特征向量处于样本所张成的空间,即: },设有样本集合 ,假设样本的均值为,即:∑ 证明] 样本集合的协方差矩阵为:=-∑·,令2为的特征值,为对应特征矢量, 则有 ∑() 即 ∑() 因此:∈{…} 证毕下面来推导特征空间中协方差矩阵特征值和特征向量的求解方汯。设有样本集合: {…},取非线性映射:φ→F,为样本所处的维欧氏空间,称为输入空间,厂为一个空间,称为特征空间,样木在特征空间中的内积可以用一个核函数来计算:()=(()叭()。假设样本集合在特征空间中的均值为,即:∑()= 样本在特征空间中的协方差矩阵为: ∑)() 令:元为的特征值,为对应的特征矢量,则有: 利用之前证明的结果,特征矢量∈{()…收(),即存在x…a,使得式左乘中(),则有将式代入式左端: a =∑ 其中「()、=(()() a=(a (a)为矢量a的第个元素将和式代入式的右端: ()一∑叭()()∑a() ∑∑a(φ()9()()9() ∑∑ 式式相等,则有: 因此,求取的特征值和特征向量的问题可以转化为如下特征值问题用代替A,即为: 令:∴λ为矩阵的特征值,α…a为特祉矢量,则对应的的第个特征值和特征矢量为 ∑∝叭( 其中a为a的第个元素。规范化,将转化为单位矢量。 ()·=∑aa(()6() Aa 因此只须使N/即可使规范化。计算样本在特征空间中第个轴上的投影,利用式,有 ()=∑a()()=∑a() 算法计算矩阵:[( 计算的特征值和特征向量:λ…λ,α∵α,取最大的前个特征值规范化前个特征向量,使得利用式可以计算样本的第个核主成分。

(系统自动生成,下载前可以参看下载内容)