观察增益gain, alpha和gamma越大,增益越小?

千锋教育

xgboost寻找分割点的标准是最大化gain。


考虑传统的枚举每个特征的所有可能分割点的贪心法效率太低,xgboost实现了一种近似的算法。


大致的思想是根据百分位法列举几个可能成为分割点的候选者,然后从候选者中计算Gain按最大值找出最佳的分割点。它的计算公式分为四项,可以由正则化项参数调整(lamda为叶子权重平方和的系数,gama为叶子数量)..