数据挖掘算法c（数据挖掘算法从思想上认识到）

数据挖掘干货总结(四)--聚类算法

1、层次化聚类算法 又称树聚类算法，透过一种层次架构方式，反复将数据进行分裂或聚合。典型的有BIRCH算法，CURE算法，CHAMELEON算法，Sequence data rough clustering算法，Between groups average算法，Furthest neighbor算法，Neares neighbor算法等。

2、根据特征的不同，我们聚类会分为【苹果、香蕉、猕猴桃】为水果的一类，和【手机、电话机】为数码产品的一类。而分类的话，就是我们在判断“草莓”的时候，把它归为“水果”一类。

3、数据预处理的艺术/通过数据简化技术（如BIRCH），可以扩展聚类算法的应用。频域分析（如DFT）和降维方法（如PCA、SVD）是处理大数据的得力助手，而如MDS的PCA扩展虽然常见，但在非线性特征的挖掘上，流形学习（ISOMAP、LLE、MVU）更显威力，谱聚类就是其中的佼佼者。

4、K-means基础：洞察聚类与分类 K-means作为一种聚类算法，与分类和划分算法有着紧密的联系。它的目标是将数据划分为K个互不相交的组（或簇），每个簇内的数据点相似度较高，而不同簇之间的差异明显。它并非有监督的分类，而是基于数据本身的内在结构进行无监督的划分。

5、在数据挖掘的海洋中，五种强大的聚类算法引领我们揭示模式：K-Means，这个快速但需要预设簇数的算法，以其速度见长，但对初始簇数的敏感性可能导致结果的不稳定性。每一步都围绕着选择簇中心，分类数据，然后根据新中心点调整，重复迭代直至收敛。K-Medians，虽然对异常值有抵抗性，但计算成本相对较高。

6、K-Means，这一经典的无监督学习算法，凭借其简单易用的特性，在数据挖掘和机器学习中占据着重要地位。它的核心理念是将数据划分为K个紧密且内部差异小的子集，每个子集之间则有明显区别，以最小化总误差平方和（SSE）为目标。

数据挖掘的经典算法有哪些?

1、k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均 方误差总和最小。

2、最近邻算法KNN KNN即最近邻算法，其主要过程为：计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；对上面所有的距离值进行排序；选前k个最小距离的样本；根据这k个样本的标签进行投票，得到最后的分类类别；如何选择一个最佳的K值，这取决于数据。

3、神经网络法是模拟生物神经系统的结构和功能，是一种通过训练来学习的非线性预测模型，它将每一个连接看作一个处理单元，试图模拟人脑神经元的功能，可完成分类、聚类、特征挖掘等多种数据挖掘任务。神经网络的学习方法主要表现在权值的修改上。

4、聚类的方法（算法）：主要的聚类算法可以划分为如下几类，划分方法、层次方法、基于密度的方法、基于网格的方法、基于模型的方法。每一类中都存在着得到广泛应用的算法， 划分方法中有 k-means 聚类算法、层次方法中有凝聚型层次聚类算法、基于模型方法中有神经网络聚类算法。

数据挖掘中常用的方法有哪些?基本流程是什么?

传统统计方法：①抽样技术：我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。②多元统计分析：因子分析，聚类分析等。③统计预测方法，如回归分析，时间序列分析等。

分类分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。

包括为建模工作准备数据的选择、转换、清洗、构造、整合及格式化等多种数据预处理工作。建立模型建立模型，指选择和使用各种建模技术，并对其参数进行调优。一般地，相同数据挖掘问题类型会有几种技术手段。某些技术对于数据形式有特殊规定，这通常需要重新返回到数据准备阶段。

决策树法决策树在解决归类与预测上有着极强的能力，它以法则的方式表达，而这些法则则以一连串的问题表示出来，经由不断询问问题最终能导出所需的结果。典型的决策树顶端是一个树根，底部有许多的树叶，它将纪录分解成不同的子集，每个子集中的字段可能都包含一个简单的法则。

在数据库查询字段名项中心存有二种相关：函数关系和相关剖析，对他们的剖析可选用应用统计学办法，即使用统计学原理对数据库查询中的信息展开剖析。可展开常见统计剖析、多元回归剖析、相关性剖析、差异剖析等。

遗传算法 遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。决策树方法 决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。

用于数据挖掘的分类算法有哪些,各有何优劣

朴素贝叶斯（Naive Bayes， NB）简单，就像做一些数数的工作。如果条件独立假设成立的话，NB将比鉴别模型（如Logistic回归）收敛的更快，所以你只需要少量的训练数据。

朴素贝叶斯算法（Naive Bayes， NB）以其简洁性著称，类似于进行基础的计数任务。在满足条件独立性假设的前提下，NB能够迅速收敛，尤其适用于训练数据有限的情况。在半监督学习环境中，或者当需要平衡模型复杂度与性能时，NB是一个不错的选择。

比较简单的算法，所需估计的参数很少，对缺失数据不太敏感。如果条件独立性假设成立，即各特征之间相互独立，朴素贝叶斯分类器将会比判别模型，如逻辑回归收敛得更快，因此只需要较少的训练数据。就算该假设不成立，朴素贝叶斯分类器在实践中仍然有着不俗的表现。

. CART： 分类与回归树CART， Classification and Regression Trees。 在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

神经网络法是模拟生物神经系统的结构和功能，是一种通过训练来学习的非线性预测模型，它将每一个连接看作一个处理单元，试图模拟人脑神经元的功能，可完成分类、聚类、特征挖掘等多种数据挖掘任务。神经网络的学习方法主要表现在权值的修改上。