误差分析 聚类分析之谱系聚类法.ppt

谱系聚类法，又称系统聚类法，是一种在数据挖掘和统计分析中广泛应用的聚类方法。它的基本思想源自植物分类学，通过比较不同样本之间的相似性，将相似的样本逐渐合并成类，最终形成一个代表样本间相似性的谱系树。这个过程可以被视为一种层次化的聚类策略，它从单个样本开始，逐步合并，直至所有样本归为一类。 在谱系聚类中，关键在于如何衡量样本间的相似度，这通常通过计算类间距离来实现。常见的类间距离有四种： 1. **最短距离**（Single Linkage）：两个类的距离定义为两个类中任意两个样本间距离的最小值。这种方法容易形成细长的聚类链，可能无法反映出类内部的紧密关系。 2. **最长距离**（Complete Linkage）：两个类的距离定义为两个类中任意两个样本间距离的最大值。与最短距离相反，这种方法倾向于形成紧凑的聚类，但可能会忽略部分样本间的联系。 3. **类平均距离**（Average Linkage）：两个类的距离定义为两个类内所有样本对之间的平均距离。这种方法综合了最短和最长距离的优点，但计算量较大。 4. **重心距离**（Centroid Linkage）：两个类的距离定义为它们的重心（类内所有样本的均值）之间的距离。这种方法考虑了类的整体特性，但当类内样本数量不等时，可能会产生偏差。 在聚类过程中，需要通过递推公式来更新类间距离，以便在每次合并后快速计算新类与其他类的距离。例如，最短距离的递推公式是取新类与旧类中所有样本对距离的最小值；最长距离则取最大值；类平均距离需要计算所有样本对距离的平均值；而重心距离则涉及类的重心计算。 谱系聚类法的步骤通常包括以下几点： 1. 初始化：每个样本作为一个单独的类。 2. 计算距离：计算所有类之间的距离。 3. 合并：找到距离最近的两个类并合并为一个新的类。 4. 更新距离：使用递推公式更新类间距离。 5. 重复步骤3和4，直到满足停止条件（如达到期望的类数或类间距离超过某个阈值）。 谱系聚类的结果是一个谱系树，它提供了样本间相似性的直观表示，可以根据实际需求决定切割谱系树的位置，从而确定最终的聚类结果。这种方法在生物学、社会学、市场细分等多个领域都有广泛应用。然而，谱系聚类也有其局限性，如易受异常值影响，且选择合适的距离度量和停止条件对结果有显著影响。因此，在实际应用中，需结合具体问题选择适当的聚类方法，并进行合理的参数调整。