决策树的训练过程

GBDT以CART作为基分类器，CART以gini指数选择特征，gini指数越小，纯度越高。离散特征会依次将每个取值作为分割点计算gini系数，连续特征会依次将连续两个值的中间值作为分割点，将数据分割为S1和S2两部分，并计算该分割点的gini增益为S1和S2方差之和，随后选取gini增益最小的值作为分割点，并当做离线特征计算该特征的gini系数，最后取gini指数最小的作为最优特征与最优切分点。Xgboost还支持线性分类器，相当于带L1和L2正则化项的LR。 GBDT在优化时只用到一阶导数

决策树的分类 信息增益 信息增益 = 分类前后的信息熵之差 信息增益越高，就越应优先选择该属性进行分类 通过信息增益来进行分类，会优先选择类别多的属性进行划分 信息增益率 为了解决信息增益会优先选择类别多的属性进行划分的问题，使用信息增益率。 但是没啥用 基尼系数 基尼值 从数据集D中随机抽取两个样本，其类别标记不一致的概率。故，Gini（D）值越小，数据集D的纯度越高。 基尼系数 选择使划分后基尼系数最小的属性作为最优化分属性。 不同的决策树类型 信息增益 – ID3 决策树 会偏