「神经网络」能否代替「决策树算法」?

2019-10-04

「神经网络」能否代替「决策树算法」?

这个问题可以从几个维度来分析。但先要说明决策树就是决策树,随机森林和xgboost的性能提升主要是来自于集成学习。所以,我们扩展一下题目把对比延伸到:

单棵决策树,如比较常见的C4.5等

以决策树为基模型的集成学习算法(Ensemble Tree),如随机森林,gradient boosting,和xgboost

神经网络,包括各种深度和结构的网络

我的看法是,单棵决策树的用途已经比较有限了,已经基本被集成决策树代替。而决策树集成模型和神经网络有不同的使用场景,不存在替代一说。给出一个较为通用的看法仅供参考:

如果不强调绝对的解释度,尽量避免单棵决策树,用集成树模型

在集成数模型中,优先推荐使用xgboost

在中小数据集上,优先选择集成树模型。大数据集上推荐神经网络

在需要模型解释度的项目上,优先使用树模型

在项目时间较短的项目上,如果数据质量低(大量缺失值、噪音等),优先使用集成树模型

在硬件条件有限及机器学习知识有限的前提下,优先选择树模型

对于结构化较高的数据,尤其是语音、图片、语言,优先使用神经网络模型(往往其数据量也较大)

用个不恰当的比喻,集成树模型就像Python,而神经网络就像C++。前者简单粗暴效果好,容易上手优点多,后者比较精贵更为复杂但严肃项目上潜力很大。如果你愿意好好学习数据结构、内存分配和要命的指针,C++几乎无所不能。但如果你只打算写个简单的网络爬虫,Python十行就可以搞定。

单棵决策树 vs. 集成学习

决策树是1963年被 Morgan和Sonquist提出的[5],通过类树的结构实现分类和回归。我们一般认为决策树模型:

易于使用和解释[6],单棵的决策树很容易进行可视化和规则提取

可以自动实现特征选择[3] - 通过计算节点分裂时"不纯度的降低"(impurity reduction) 和剪枝(pruning)

预测能力有限,无法和强监督学习模型相提并论[6]

稳定性低(stability)方差高(variance),数据扰动很容易造成决策树表现有很大的变化[1, 6]

随机森林是Breiman提出的[10],模型使用集成的学习来降低单棵决策树中的高方差(high variance)从而提高了整体的预测能力。而gradient boosting machine(GBM) [9]和xgboost [8]分别是在2001年和2014年提出的。鉴于两者比较相似放在一起讨论,这两个模型:

和随机森林的并行学习(parallel learning)不同,使用串行学习(sequential learning)不断地提高的模型的表现能力降低偏差(bias)

在进行预测分类的时候非常快且对于储存空间的要求低[3]

boosting这个学习方法可以看成一种L1正则化来防止过拟合,因此模型不容易拟合[3]。Python工具库scikit-learn也提到过其不容易过拟合[2],用较多的基学习器也不碍事

单纯对比GBM和xgboost的话,它们的分类性能接近,xgboost有一个额外的正则项进一步降低过拟合。而xgboost的速度更快[4],往往更适合较大的数据集

根据各种各样实践和研究来看,随机森林、GBM和xgboost都明显优于普通的单棵决策树,所以从这个角度来看,单棵决策树可以被淘汰了。

而单棵决策树最大的护城河在于,它可以被很轻松的可视化甚至是提取规则分类规则。而集成学习在这一点是很难做到的[34]。而可解释化对于工业界很多时候是很重要的,从这个角度来看,决策树还有一点点立身之本。但这个使用的前提是,一定一定要确定决策树的表现不错(比如查看交叉验证的结果)再来可视化和规则提取,不然很有可能提取到无效甚至是错误的规则。

随机森林的作者曾经实现过可视化,但远不如决策树直观,xgboost支持单棵树的可视化。从某个角度上来看,或许对xgboost中较为可靠和稳定的单棵树进行可视化可以彻底淘汰决策树。

集成树模型 vs. 神经网络

神经网络已经是我们很熟悉的算法了,最大能力就是从复杂的数据中进行特征表示,也被认为可以近似表示任何函数(假设有特定多的node) [3],现在如此火爆的深度学习就是深度较大的神经网络的特定叫法。神经网络和集成树模型在以下几点上有较大的不同:

从数据量上来讨论:神经网络往往需要较大的数量,而小数据集上树模型有明显的优势。常常有人问,多小才算小?这也同时需要取决于特征的数量。但一般来说,几百几十个数据的情况下神经网络很难表现良好。

从特征工程角度看:神经网络需要更苛刻的数据准备工作,而树模型一般不需要以下步骤:(i) 缺失数据弥补(missing value imputation) (ii) 数据类型转化(categorical to numerical):把类别数据变为数字型 (iii) 数据缩放(data scaling):把不同范围的数据归一到[0,1]或者投射到正态分布上 (iv) 更多的参数调整:比如初始化权重,比如选择合适学习率等

从调参难度来看:集成树模型远低于神经网络。大部分的集成树模型也仅需要:(i)基学习器数量 (ii) 考虑的特征数 (iii) 最大深度 等。神经网络的调参惨剧已经没什么好说的,这点上和树模型差距非常大。

从模型解释度来看:集成树模型的解释度一般更高,比如可以自动生成特征重要性(feature importance)。神经网络的特征虽然也可以一定程度上进行分析,但不大直观。再早年间,在神经网络上使用包裹式(wrapper)方法,每次加1或者减1个特征进行特征排序也曾存在过,远不如集成树模型的嵌入式(embedded)特征选择来的方便和直观。

从模型预测能力来看:抛去调参的难度差异不提,大中型数据上的表现较为接近。随着数据量增大,神经网络的潜力越来越大

从项目周期来看:因为在各个方面神经网络都需要更多的时间,因此其需要的总时间往往远大于决策树集成,更别提还需要很好的硬件支持,如GPU。

一般来说,在小数据量多特征下,集成的树模型往往优于神经网络。随着数据量增大,两者表现趋于接近,随着数据量继续上升,神经网络的优势会逐步体现。这个跟很多答主提到的一样:随着数据量上升,对模型能力的要求增加而过拟合的风险降低,神经网络的优势终于有了用武之地而集成学习的优势降低。

总结

综上来看,大部分项目建议使用集成决策树,首推xgboost,速度快效果好用时少。特定的复杂且数据量大的项目,建议还是老老实实的为神经网络调参,拿出debug C++ pointer的精神来。

所以暂时来看,已经被替代的是单棵决策树,而集成决策树还非常重要甚至变得更为重要。在短时间内,看不到集成决策树模型被替代的可能 ʕ•ᴥ•ʔ

* 另推荐一篇有趣但有点过时的文章[7],其中对比了各种各样的算法并给出作者的分析。

原文:https://weibo.com/ttarticle/p/show?id=2309404213436883035081#_0

via:全球人工智能

End


相关:

掌握了这几道菜的做法,自己分分钟就能做出来虾仁豆腐用料:南豆腐 一块、草虾 250克、葱姜蒜, 各适量、料酒 10ml+10ml、蚝油 30m1、红烧酱油 10ml、胡椒粉 黑胡椒碎(腌制时用)、盐 1克(腌制时用)、生粉 1小匙、清水 50ml、水淀粉 一小匙(..

《我和我的祖国》3天10亿 刷新纪录叫好又叫座 截至发稿时间,电影《我和我的祖国》上映3日,总票房已正式突破10亿。其中,首日票房2.7亿,次日(10月1日)票房3.5亿,创造了新的国庆节当日票房纪录,10月2日票房2.93亿,连续三天夺得单日票房冠军,观影总人..

北凌绝顶——1960年中国首次登顶珠穆朗玛峰始末1923年,英国探险家乔治·马洛里被《纽约时报》问到为什么要攀登珠穆朗玛峰时,他回答说:“因为山在那里。”留下这句传世名言的马洛里,最终没能征服世界第一峰,1924年,他在珠峰的冰天雪地中彻底失联。上世纪50..