(完整word版)各种聚类算法介绍及对比.pdf

聚类算法介绍及对比 层次聚类（Hierarchical Clustering）是一种常用的聚类算法，它将样本之间的距离计算出来，然后根据距离的远近进行合并或分裂，直到所有样本都被聚类到一起。层次聚类算法可以分为凝聚型层次聚类和分裂型层次聚类两种。 层次聚类的优点包括： 1. 距离和规则的相似度容易定义，限制少。 2. 不需要预先制定聚类数。 3. 可以发现类的层次关系。 4. 可以聚类成其它形状。 层次聚类的缺点包括： 1. 计算复杂度太高。 2. 奇异值也能产生很大影响。 3. 算法很可能聚类成链状。 层次聚类的流程可以概括如下： 1. 将每个对象作为一个簇。 2. 计算两两之间的距离。 3. 将距离最小的两个类合并成一个新类。 4. 重新计算新类与所有类之间的距离。 5. 重复步骤3和4，直到所有类最后合并成一类。 层次聚类算法可以根据Linkage的计算方法不同而有所区别，常见的Linkage计算方法包括： 1. 最短距离法 2. 最长距离法 3. 中间距离法 4. 类平均法 在R语言中，可以使用hclust函数进行层次聚类，语法为hclust(d, method = "complete", members=NULL)，其中d为距离矩阵，method表示类的合并方法，members为NULL或d长度的矢量。 此外，还有其他一些层次聚类算法，例如BIRCH、ROCK和Chameleon等。 BIRCH（Balanced Iterative Reducing and ClusteringUsing Hierarchies）是一种基于树结构的层次聚类算法，主要用于处理大规模数据集。它首先将对象集划分为树形结构，然后使用其他聚类方法对这些聚类进行优化。 ROCK（A Hierarchical Clustering Algorithm for CategoricalAttributes）是一种用于处理 categorical 数据类型的层次聚类算法。 Chameleon（A Hierarchical ClusteringAlgorithm Using Dynamic Modeling）是一种基于kNN算法的层次聚类算法，具有非常强大的聚类效果，但计算复杂度很高。 划分聚类法（Partition-based methods）是一种基于分区的聚类算法，例如k-means算法。其原理简单来说就是，想象你有一堆散点需要聚类，想要的聚类效果就是“类内的点都足够近，类间的点都足够远”。首先你要确定这堆散点最后聚成几类，然后挑选几个点作为初始中心点，再然后依据预先定好的启发式算法（heuristic algorithms）给数据点做迭代重置（iterative relocation），直到最后到达“类内的点都足够近，类间的点都足够远”的目标效果。 Partition-based methods 聚类多适用于中等体量的数据集，但我们可以通过使用不同的距离计算方法和聚类策略来提高聚类效果。