gbdt,先了解一下boosting思想再训练弱分类器!

首先，我们来了解一下助推的思路。我们每次训练单个弱分类器，都会在学习当前单个弱分类器之前，增加上次分类错误的数据的权重，这样训练出来的单个弱分类器会更加关注那些容易被错误分类的点，最后通过加权求和的方式组合成一个最终的学习器，gradentboosting是助推的一种，每次建立单个学习器，都是上一个模型的损失函数的梯度下降方向。GB和AdaBoost的区别在于Adaboost通过提高错误得分数据点的权重来定位模型的不足。

GBDT算法的描述不正确。()a .决策树BoostingGBDTB。GBDT算法主要利用Boosting方法C.GBDT和AdaBoost的比较，两者都是Boosting家族成员，使用弱分类器；都是使用正向逐步算法d .梯度提升算法通过在梯度方向迭代选择一个基函数，逐步逼近局部极小值。正确答案:梯度提升算法通过在梯度方向迭代选择一个基函数，逐步逼近局部极小值。

首先，我们来了解一下boosting的思路。我们每训练一个单个弱分类器，都会增加上一次分类错误的数据的权重，然后学习当前的单个弱分类器。如果后面这样做，训练好的单个弱分类器会更加关注那些容易被错误分类的点，最后通过加权求和的方式组合成一个最终的学习器。Gradentboosting是助推的一种。每次建立单个学习器，都是上一个模型的损失函数的梯度下降方向。GB和AdaBoost的区别在于Adaboost通过提高错误得分数据点的权重来定位模型的不足。

主要思想是每次建立单个学习器，都是在前一个模型的损失函数的梯度下降方向。损失函数越大，模型越容易出错。如果我们的模型能让损失函数不断减小，说明我们的模型在不断改进，最好的办法就是让损失函数在其梯度方向上减小。GBDTGB DT(决策树)，即当基分类器是决策树时，这里的决策树是回归树。

博客园:梯度提升树原理总结(GBDT)博客园:一步步理解GB、GBDT和xgboost志虎:GBDT和XGBOOST在机器学习算法上有什么不同？我们将重要参数分为两类。第一类是Boosting框架的重要参数，第二类是弱学习者CART回归树的重要参数。

/Image-4/GBDT(GradientBootingDecisiontree)是机器学习中经久不衰的模型。其主要思想是利用弱分类器(决策树)进行迭代训练，得到最优模型。该模型具有训练效果好、不易过拟合的优点。GBDT不仅广泛应用于工业领域，还用于多分类、点击率预测、搜索排名等任务。也是各种数据挖掘比赛中的致命武器。据统计，Kaggle上超过一半的冠军方案都是基于GBDT的。

1.1 light GBM提出的激励中常用的机器学习算法，比如神经网络，可以用minibatch的方式进行训练，训练数据的大小不会受到内存的限制。在每次迭代中，GBDT需要多次遍历整个训练数据，如果将整个训练数据加载到内存中，则训练数据的大小将受到限制；如果不加载到内存中，反复读写训练数据会耗费大量时间。