梯度提升模型（gradient boosting）：它是目前在结构化数据中表现最好的模型。和随机森林类似，都是集成学习的方法。随机森林是将多个决策树的预测值取平均。梯度提升梯度是一种通过循环迭代将模型添加到集合中集成的方法。它首先用单个模型初始化集合，其预测可能非常稚拙的。(即使它的预测非常不准确，随后对集合的添加也会解决这些错误。) 迭代过程： 首先，我们使用当前模型集合为数据集中的每个观测生成预测。为了进行预测，我们将集合中所有模型的预测相加。 用这些预测计算损失函数(例如，均方误差)。 然