1.1 统计学习     统计学习就是计算机系统通过运用数据及统计方法提高系统性能得机器学习。现在人们提及得机器学习，往往是指统计机器学习。 统计学习由监督学习、非监督学习、半监督学习和强化学习等组成。     李航的《统计学习方法》以介绍统计学习方法为主，其中第2-8 章都是监督学习方法为主。 1.2 监督学习     输入/输出空间：监督学习中，输入与输出的所有可能取值的集合分别称为输入空间和输出空间。输入与输出空间可以是有限元素的集合，也可以是整个欧式空间，通常，输出空间远远小于输入空间。

1、统计学习：监督学习、非监督学习、半监督学习、强化学习      对于监督学习：对于给定的、有限的、用于学习的训练数据集合出发，假设数据是独立同分布，并假设要学习的模型属于某个函数的集合，称为假设空间；应用某个评价准则，从假设空间中选择一个最优模型，使它对已知训练数据及未知测试数据在给定的评价准则下有最优的预测；最优模型的选取由算法实现。即统计学习方法三要素：模型、策略、算法。 2、监督学习    输入空间、输出空间、特征空间                 联合概率分布、假设空间：输入空间到