scikit-learn-0.21.3-中文文档.pdfscikit-learn 是基于 Pytho

文件名称: scikit-learn-0.21.3-中文文档.pdf

所属分类: 机器学习

开发工具:

文件大小: 40mb

下载次数: 0

上传时间: 2019-08-24

提供者: h3942*****

下载 (40mb)

不能下载？报告错误

详细说明：scikit-learn 是基于 Python 语言的机器学习工具简单高效的数据挖掘和数据分析工具可供大家在各种环境中重复使用建立在 NumPy ，SciPy 和 matplotlib 上开源，可商业使用 - BSD许可证1.监督学习 1广义线性模型 °1.1.1普通最小二乘法 1.1.2岭回归 1.1.3LaSs0 o1.1.4多任务 Lasso 115弹性网络 o116多任务弹性网络 1.1.7最小角回归 1.1. 8 LARS Lasso 1.19正交匹配追踪法(OMP 1.1.10贝叶斯回归 11.11gstc回归 o1.1.12随机梯度下降,SGD 1.1.13 Perceptron(感知器) o11.14 Passive Aggressive Algorithms(被动攻击算法) o11.15稳健回归( Robustness regression)处理离群点( outliers)和模型错误 1.116多项式回归:用基函数展开线性模型 12线性和二次判那分析 12.1使用线性判别分析来降维 1.2.2LDA和QDA分类器的数学公式 1.2.3LDA的隆维数学公式 0124 Shrinkage(收缩 o1.25预估算法 13内核岭回归 14支持向量机 o14.1分类 142回归 o143密度估让,异常( novelty)检测 1.44复杂度 14.5使用诀安 146核函数 147数学公式 148实现细节 1.5随机梯度下隆 o15.1分类 152回归 o1.5.3稀疏数据的随机梯度下隆 o15.4复杂度 1.55停止判据 o15.6实用小贴士 157数学描述 o1.5.8实现细节 1.6最近邻 o1.6.1无监督最近邻 o1.6,2最近邻分类 1.63最近邻回归 164最近邻算法 o165最近质心分类 166邻域成分分析 1.7高斯过程 o1.7.1高斯过程回归(GPR) 1.72GPR示例 o173高斯过程分类(GPC 1.74GPC示例 5高斯过程内核 1.8交叉分解 19朴素贝叶斯 o19.1高斯朴素贝叶斯 o1.9.2多项分布朴素贝叶斯 93补充朴素贝叶斯 o19.4伯努利朴素贝叶斯 °195堆外朴素贝叶斯模型拟合 1.10决策树 1.10,1分类 1.10.2回归 o1.103多值输出问题 o1.10.4复杂度分析 o1.10.5实际使用技巧 ■1.10.6决策树算法:D3,C4.5,C5.0和CART o1.10.7数学表达 11集成方法 1.11.1 Bagging meta-estimator( Bagging元估计器) 1.11.2由随机树组成的森林 o 1.113 AdaBoost o1.114 Gradient Tree Boosting(梯度树提升 111.5 Voting_ Classifier(投票分类器) 1.116.投回归器( Voting Regressor) 1.12多类和多标签算法 o1.12.1多标签分类格式 1.12.21对其余 112.31对1 °1124误差校正输出代码 o1.12.5多输出回归 o1.12.6多输出分类 o1.12.7链式分类器 113特征选择 1.13.1移除低方差特征 1.132单变量特征选择 o1133递归式特征消除 1.134使用 SelectFrom Model选取特征 o1.13.5特征选取作为 pipeline(管道)的-部分 1.14半监督学习 o1.14.1标签传播 1.15等式回归 16概率校准 117神经网络模型(有临督) 1.17.1多层感知器 72分类 1.173回归 o1.174正则化 o1175算法 1.176复杂度 o1.177数学公式 o1.178实用技巧 o1.17.9使用 warm start的更多控制 [% raw 96 1.1.广义线性模型校验者: 专业吹生逼的小明 Gladiator LOopy. ginhanmin2014 翻译者: 瓜生年纪大了反应慢了 OHazekiah BWM蜜蜂本章主要讲述一些用于回归的方法,其中目标值y是输入变量x的线性组合。数学概念表示为:如果y 是预测值,那么有 y(Q,x)=+w1z1+…+wpxp 在整个模块中,我们定义向量=(1…,up)作为coef-,定义0作为 intercept- 如果需要使用广义线性模型进行分类,请参阅 logistic回归。 1.1.1.普通最小二乘法 Linearregression拟合一个带有系数v=(1;…,2p)的线性模型,使得数据集实际观测数据和预测数据(估计值)之间的残差平方和最小。其数学表达式为 Li nearRegression会调用fit方法来拟合数组,y,并且将线性模型的系数存储在其成员变量 f >> from sklearn import linear_model >>> reg= linear_model LinearRegression() >>>reg.fit([[0,0],[1,1],[2,2]],[0,1,2]) LinearRegression(copy_X=True, fit_intercept=True, n_jobs=l, normalize=False) >>> reg. coef array([0.5,0.5]) 然而,对于普通最小二乘的系数估计问题,其依赖于模型各项的相互独立性。当各项是相关的,且设计矩阵X的各列近似线性相关,那么,设计矩阵会趋向于奇异矩阵,这种特性导致最小二乘估计对于随机误差非常敏感,可能产生很大的方差。例如,在没有实验设计的情况下收集到的数据,这种多重共线性( multicollinearity)的情况可能真的会出现。示例线性回归示例 1.1.11.普通最小二乘法的复杂度该方法使用X的奇异值分解来计算最小二乘解。如果Ⅹ是一个size为( n_samples, n features)的矩阵,设O( samples feat),则该方法的复杂度为 n samples >features 11.2.岭回归 Ridge回归通过对系数的大小施加惩罚来解决普通最小二乘法的一些问题。岭系数最小化的是带罚项的残差平方和, min Xw-yl2+allwll2 其中,α>0昰控制系数收缩量的复杂性参数:α的值越大,收缩量越大,模型对垬线性的鲁棒性也更强 Ridge coefficients as a function of the regularization 200 100 马 100 10-210-310-410-510-610-710-810-910-10 al pna 与其他线性模型一样,Ridg用fit方法完成拟合,并将模型系数υ存储在其coef成员中 >> from sklearn import linear_mode l >> reg=linear_mode]. Ridge Calpha =.5) >>>reg.fit([[0,0],[0,0],[1,1]],[0,1,1]) Ridge (alpha=0.5, copy_X=True, fit_intercept=True, max_iter=None normalize=False, random state=None, solver=auto, tol=0. 001) >> reg coef array[0.34545455,0.34545455]) >> reg. Intercept- 0.13636 示例岭系数对回归系数的影响 ●分类特征稀疏的文本 11.21.岭回归的复杂度这种方法与普通最小二乘法的复杂度是相同的 1.122.设置正则化参数:广义交叉验证 Ridged通过内置的关于的apha参数的交叉验证来实现岭回归。该对象与 Grid searche的使用方法相同,只是它默认为 Generalized Cross-validation(广义交叉验证GC),这是一种有效的留一验证方法( LOO-CV) >> from sklearn import linear_model >> reg=linear_model.Ridgecv(alphas=[O1, 1.0, 10.01) >>>reg.fit([[0,0],[0,0],[1,1]],[0,,1,1]) Ridgecv (alphas=[0. 1, 1.0, 10.0], CV=None, fit_intercept=True, scoring=Non normalize=False) >>>reg. al pha 0.1 指定cν属性的值将触发(通过 GridSearchCv的)交叉验证。例如,CV=10将触发10折的交叉验证,而不是广义交叉验证(GCV 参考资料 ." Notes on Regularized Least Squares", Rifkin Lippert(technical report, course slides, 1.1.3. Lasso 像。是拟合稀疏系数的线性模型。它在一些情况下是有用的,因为它倾向于使用具有较少参数值的 Las 有效地减少给定解决方案所依赖变量的数量。因此, Lasso及其变体是压缩感知领域的基础, 在一定条件下,它可以恢复一组非零权重的精确集(见压缩感知断层重建)。在数学公式表达上,它由一个带有1先险的正则项的线性模型组成。其最小化的目标函数是 Xw-yk2+allwll nDles lasso estimate解决了加上罚项a1最小二乘法的最小化,其中,Q是一个常数,|l1是参数向量的C1norm范数。 Lasso类的实现使用了 coordinate descent(坐标下降算法)来拟合系数。查看最小角回归,这是另一种方法: >> from sklearn import linear _model >> reg= linear_model. Lasso(alpha=0.1) >>>reg.fit([[0,0],[1,1]],[0,1]) Lasso Cal pha=0.1, copy_X=True, fit intercept=True, max iter=1000, normalize=False, positive=False, precompute=False, random_state=None, selection='cyclic, tol=0 0001, warm_start=False) >>>reg. predict([[1, 111) array([0.8]) 对于较简单的任务,同样有用的是函数aso_nath。它能够通过搜索所有可能的路径上的值来计算系数。示例: Lasso和 Elastic Ne(弹性网络)桸疏信号上的表现压缩感知断层重建注意:使用 Lasso进行特征选择由于 Lasso回归产生稀疏模型,因此可以用于执行特征选择,详见基于L1的特征选眍。下面两篇参考解释了 scikit-learn坐标下降算法中使用的迭代,以及用于收敛控制的对偶间隙计算的珥论基础。参考资料 "Regularization Path For Generalized linear Models by Coordinate Descent", Friedman Hastie Tibshirani, J Stat Softw, 2010(Paper) An Interior-Point Method for Large-Scale L1-Regularized Least Squares, S.J. Kim, K Koh, M. Lustig, S. Boyd and D. Gorinevsky, in IEEE Journal of Selected Topics in Signal Processing, 2007(Paper) 1131.设置正则化参数 alpha参数控制估计系数的稀疏度。 113.1.1.使用交叉验证 scikit-|earn通过交叉验证来公开设置 Lasso alpha参数的对象: Lassoo和 Lassolarscy。 lassolas是基于下面将要提到的最小角回归算法对于具有许多线性回归的高维数据集, Assoc最常见。然而, Lassolarscy在寻找apha参数值上更貝有优势,而且如果样本数量比特征数量少得多时,通常 Lassolarscv比 Associ要快。

(系统自动生成,下载前可以参看下载内容)