高斯混合模型（GMM）可以平滑任意形状的概率分布。其参数求解方法一般使用极大似然估计求解，但使用极大似然估计法往往不能获得完整数据（比如样本已知，但样本类别（属于哪个高斯分布）未知），于是出现了EM（最大期望值）求解方法。 虽然上面说的简单，但是混合高斯模型和EM求解的理论还是比较复杂的，我把我所找到的我认为能够快速掌握高斯混合模型的资料打包到了附件中，大家可以去下载，了解混合高斯模型以及EM的完整推导过程。

统计学习是计算机及其应用领域的一门重要的学科。本书全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外，每章介绍一种方法。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。为满足读者进一步学习的需要，书中还介绍了一些相关研究，给出了少量习题，列出了主要参考文献。 《统计学习方法

介绍了机器学习中，监督学习、无监督学习、过拟合，以及采取相关的措施进行处理。6考虑下面样本特征为二维欧式空间点的两分类问题的训练集,分别用最近邻法和三近邻法给出测试样本点(1,1)的 类别 x0011122 1+ 2|+ 2 解:(1)计算距离 (x, y)Distance-(1, 1) (-1,1)Y(-1-12+(1-1)2)=2 (0,1)v(0-1)2+(1-1)^2)=1+ (02)(0-1y2+(2-1)^2)= (1,1)Y(1-1)2+(-1-1)^2)=2 (10)v(1-1)

哈工大研究生课程讲义高斯分布参数的极大似然估计，EM算法高斯混合模型算法的迭代公式推导 我们首先来推导般混合密度模型参数估计的算法达代公式,然后再将般的混合 密度模型具体化为髙斯混合模型。 混合密度模型 假设样本集={x1,…,x}中的样本相互独立,并且按照如下的过程产生: 样木是依据桃率由个分布中的一个产生的,分布的概率密度数为(x0), 1,,,0为分布的参数 由第个分布产生样本的先验概率为a 先验概率a=(a1…,a),以及分布的参数日,…,0均未知。 我们称样本集来自于一个混合密度模型,