python实现高斯判别分析算法的例子

高斯判别分析（Gaussian Discriminant Analysis，GDA）是一种经典的统计学方法，用于解决监督学习中的分类问题。在GDA中，我们假设每个类别（class）的数据都服从一个多维正态分布。这个算法是生成模型，因为它试图学习数据的真实分布，并基于这些分布来预测新样本的类别。 在GDA中，给定一个样本X，我们需要计算其属于各个类别的概率P(Y=k|X)，然后将样本分配给具有最高概率的类别。对于多维正态分布，我们需要知道每个类别的均值向量μ_k和协方差矩阵Σ_k。在二分类问题中，我们通常有两个高斯分布，一个代表每个类别。 高斯分布的数学形式如下： P(X|Y=k) = (1 / (2π|Σ_k|)^(n/2)) * exp(-0.5 * (X - μ_k)^T Σ_k^-1 (X - μ_k)) 这里的n是特征的数量，|Σ_k|是协方差矩阵Σ_k的行列式的绝对值，exp是指数函数，^表示乘方，T表示转置。 在实际应用中，我们通常通过极大似然估计来求解模型参数。我们需要收集带有标签的训练数据，然后计算每个类别的样本均值μ_k和总体协方差矩阵Σ，其中Σ是所有类别共享的。对于二分类问题，协方差矩阵可以简化为对角矩阵，因为类别间的协方差通常假设为零。 在Python中实现GDA，我们可以使用numpy库生成模拟的高斯数据，然后计算参数并进行分类。以下是一个简单的示例： ```python import numpy as np import matplotlib.pyplot as plt # 生成模拟数据 mean0 = [2, 3] cov = np.array([[1, 0], [0, 2]]) x0 = np.random.multivariate_normal(mean0, cov, 500) y0 = np.zeros(len(x0)) mean1 = [7, 8] x1 = np.random.multivariate_normal(mean1, cov, 300) y1 = np.ones(len(x1)) x = np.concatenate((x0, x1)) y = np.concatenate((y0, y1)) # 计算参数 phi = (1.0 / len(x)) * len(y1) u0 = np.mean(x0, axis=1) u1 = np.mean(x1, axis=1) # 这里省略了协方差矩阵的计算，通常需要考虑所有类别的数据 # sigma = 计算总体协方差矩阵 # 分类部分省略 ``` 这个示例中，我们生成了两个类别的二维高斯分布数据，然后计算了每个类别的均值向量，但未涉及协方差矩阵的计算。在实际应用中，协方差矩阵的计算非常重要，因为它影响了高斯分布的形状和展宽程度。较大的协方差矩阵会导致分布更“铺开”，而较小的协方差矩阵则会使分布更“收缩”。 为了完成GDA分类，你需要计算协方差矩阵，然后利用这些参数构建分类决策边界。这通常涉及到求解线性方程组或使用逆矩阵。对于新的未标记数据，你可以计算其属于每个类别的概率，并将其分类为概率最高的类别。 请注意，虽然GDA在某些情况下表现良好，但它假设数据完全服从高斯分布且类别间协方差相等，这在实际问题中可能不成立。因此，它可能在数据分布复杂或者类别间方差差异大的情况下效果不佳。在这种情况下，可以考虑使用其他方法，如支持向量机（SVM）或决策树等。