数据挖掘特征选择（数据挖掘算法选择）

c4.5为什么使用信息增益比来选择特征?

C5算法正是针对ID3的这一偏向性进行了修正，通过信息增益比，它在一定程度上平衡了特征取值数量和信息增益，使得在大多数情况下，选择更为稳定和客观。然而，这是否完美平衡了两者之间的关系，还需进一步探讨。

增益率，是信息增益的改进版本，它考虑了属性选择时可能带来的信息增益，避免了对具有较少取值的属性过分偏爱。C5算法巧妙地结合了信息增益和启发式策略，使得决策树更为稳健，不易过度拟合。基尼指数，作为一种纯度度量，它衡量了样本在某个特征值下的不均匀性，高的基尼指数表示分类问题的纯度较低。

C5是对ID3的精进，它引入了信息增益率的概念，旨在解决连续特征的处理问题。C5综合了信息增益和增益率，从而提高了模型的稳健性和预测精度，但仍需警惕过拟合的潜在风险。CART，由Breiman提出，是一种全能选手，适用于分类和回归任务。

数据挖掘的方法有哪些

决策树算法办法 决策树算法是一种常见于预测模型的优化算法，它依据将很多数据信息有目地归类，从这当中寻找一些有使用价值的，潜在性的信息。它的要害优势是叙说简易，归类速度更快，十分适宜规模性的数据处理办法。遮盖正例抵触典例办法 它是使用遮盖悉数正例、抵触悉数典例的观念来找寻规范。

分类分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。

方法Analytic Visualizations（可视化分析）无论是日志数据分析专家还是普通用户，数据可视化都是数据分析工具的最基本要求。可视化可以直观地显示数据，让数据自己说话，让听众看到结果。方法Data Mining Algorithms（数据挖掘算法）如果说可视化用于人们观看，那么数据挖掘就是给机器看的。

数据挖掘中的特征选择问题

数据挖掘中的特征选择问题 特征工程包括特征选择和特征提取。数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

首先，让我们回到基础。当面对大量数据集，比如200，000个样本，类别均匀分布，ID3和C5在选择特征时，确实会考虑信息增益。然而，这并不意味着信息增益总是偏向取值多的特征。举个例子，如果有两个特征，A有10，000个取值，B只有2个，尽管它们都与类别无关，但ID3最初可能不会明显偏向A。

关联规则关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。

其实特征选择只是特征工程中的第一步。真正的高手，往往使用特征创造或特征提取来寻找高级特征。在Kaggle之类的算法竞赛中，很多高分团队都是在高级特征上做文章，而这是比调参和特征选择更难的，提升算法表现的高深方法。

机器学习（machine learning）是一个大的研究方向，其中特种选择（feature selection）和数据挖掘（data mining）都是机器学习下面的一个小分支，小研究方向。特征选择一般用于分类，找到最好的特征进行分类。