SVM、LR、决策树的对比

千锋教育

模型复杂度:SVM支持核函数,可处理线性非线性问题;LR模型简单,训练速度快,适合处理线性问题;决策树容易过拟合,需要进行剪枝


损失函数:SVM hinge loss; LR L2 logistical loss(对数似然损失); adaboost 指数损失


数据敏感度:SVM添加容忍度对outlier不敏感,只关心支持向量,且需要先做归一化; LR对异常点敏感


数据量:数据量大就用LR,数据量小且特征少就用SVM非线性核