统计学习是计算机及其应用领域的一门重要的学科。本书全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外，每章介绍一种方法。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。为满足读者进一步学习的需要，书中还介绍了一些相关研究，给出了少量习题，列出了主要参考文献。 《统计学习方法

*AI学习知识点* 1. 基础知识 概率论 微积分与逼近论 极限、微分、积分的基本概念 利用逼近的思想理解微积分，利用积分的方式理解概率论 概率论的基础 古典模型 常见的概率分布 大数定理和中心极限定理 协方差和相关系数 最大似然估计和最大后验估计 凸优化 凸优化的基本概念 凸函数 凸集 凸优化问题的标准形式 线性代数及矩阵 线性空间及线性变化 矩阵的基本概念 状态转移矩阵 特征

文章目录构造hypothesis构造损失函数通过“梯度下降法”求参数 θ\thetaθ 的更新式代码实现References 逻辑回归是用来解决分类问题用的，与线性回归不同的是，逻辑回归输出的不是具体的值，而是一个概率。除去了sigmoid函数的逻辑归回和线性回归几乎是一样的。 构造hypothesis 逻辑回归的HHH可以看做是一个线性回归方程的结果经过一个sigmoid函数得到的结果（为正样本的概率），逻辑回归的假设函数如下： hθ(x)=g(θTx)=11+e−θTx h _ { \the

先引入一下回归的定义 回归是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系。回归模型是表示输入变量到输出变量之间映射的函数。回归问题的学习等价于函数拟合：使用一条函数曲线使其很好的拟合已知函数且很好的预测未知数据。 回归问题分为模型的学习和预测两个过程。基于给定的训练数据集构建一个模型，根据新的输入数据预测相应的输出。 回归问题按照输入变量的个数可以分为一元回归和多元回归；按照输入变量和输出变量之间关系的类型，可以分为线性回归和非线性回归。 一元线性回归定义 回归分析（Regr