RF与GBDT之间的区别与联系?

千锋教育

1)相同点:都是由多棵树组成,最终的结果都是由多棵树一起决定。


2)不同点:


a 组成随机森林的树可以分类树也可以是回归树,而GBDT只由回归树组成;


b 组成随机森林的树可以并行生成,而GBDT是串行生成


c 随机森林的结果是多数表决表决的,而GBDT则是多棵树累加之和


d 随机森林对异常值不敏感,而GBDT对异常值比较敏感


e 随机森林是减少模型的方差,而GBDT是减少模型的偏差


f GBDT的会累加所有树的结果,而这种累加是无法通过分类完成的,因此GBDT的树都是CART回归树,而不是分类树(尽管GBDT调整后也可以用于分类但不代表GBDT的树为分类树)