机器学习决策树的简单介绍

机器学习系列(三十六)——回归决策树与决策树总结

1、决策树模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类 。决策树学习本质：决策树学习是从训练数据集中归纳一组分类规则、与训练数据集不相矛盾的决策树可能有多个，也可能一个没有。

2、决策树简介 决策树作为非参数监督学习的瑰宝，以其直观易懂的结构在分类和回归任务中大放异彩。决策树由节点和边构成，每个内部节点象征特征，叶节点则代表最终的决策类别。信息增益，通过衡量不确定性减少的程度，成为特征选择的关键指标。让我们以贷款申请为例，深入理解这一过程。

3、树：由节点和边两种元素组成。 父节点、子节点是相对的，子节点由父节点根据某一规则分裂而来。 根节点：没有父节点的节点，初始分裂节点。 叶子节点：没有子节点的节点。决策树： 利用树形结构进行决策，每一个非叶子节点是一个判断条件，每一个叶子节点是结论。

简述决策树模型有哪些重要特征

1、决策树（Decision Tree）常用于研究类别归属和预测关系的模型，比如是否抽烟、是否喝酒、年龄、体重等4项个人特征可能会影响到‘是否患癌症’，上述4项个人特征称作‘特征’，也即自变量（影响因素X），‘是否患癌症’称为‘标签’，也即因变量（被影响项Y）。

2、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。便于通过静态测试来对模型进行评测，可以测定模型可信度；如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

3、决策树学习通常包括三个步骤： 特征选择 、 决策树的生成 和 决策树的修剪 。 分类决策树模型是一种描述对实例进行分类的树形结构，决策树由节点（node）和有向边（directed edge）组成。节点有两种类型：内部节点（internal node）和叶节点（leaf node）。内部节点表示一个特征或属性，叶节点表示一个类。

4、决策树模型的可解释性更强。决策树：优点：计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征。缺点：容易过拟合（后续出现了随机森林，减小了过拟合现象）。逻辑回归：优点：实现简单，分类时计算量非常小，速度很快，存储资源低。

决策树算法-原理篇

既然决策树就是一种特征选择的方法，那么经典决策树算法其实就是使用了不同的特征选择方案。 如： （1）ID3：使用信息增益作为特征选择 （2）C5：使用信息增益率作为特征选择 （3）CART：使用GINI系数作为特征选择 具体选择的方法网上一大把，在这里我提供几个链接，不细讲。

剪枝（pruning）则是决策树算法对付过拟合的主要手段，剪枝的策略有两种如下：定义：预剪枝就是在构造决策树的过程中，先对每个结点在划分前进行估计，如果当前结点的划分不能带来决策树模型泛化性能的提升，则不对当前结点进行划分并且将当前结点标记为叶结点。

决策树学习的目的就是为了产生一棵泛化能力强，即能处理未见示例能力强的决策树。这些就是决策树算法的结构。决策树的原理 一般来说，决策树归纳的基本算法是贪心算法，自顶向下以递归方式构造决策树。而贪心算法在每一步选择中都采取在当前状态下最优的选择。