LDA和QDA的分类原理
0. 参考资料
CSDN 判别模型:logistic,GDA,QDA(一)
https://esl.hohoweiya.xyz/04-Linear-Methods-for-Classification/4.3-Linear-Discriminant-Analysis/index.html
scikit-learn官网 https://scikit-learn.org/stable/modules/lda_qda.html#mathematical-formulation-of-the-lda-a
nd-qda-classifiers
吴恩达CS229讲义中相关内容
《ESL》一书中对应章节
1. LDA
线性判别分析(Linear Discriminant Analysis, LDA)和二次判别分析(Quadratic Discriminant Analysis, QDA)都
是分类的生成模型,它们的原理与贝叶斯法则有关。
对于分类问题而言,我们需要求得后验概率 ,其中 代表类别。利用贝叶斯公式可以求得后
验概率,即:
对于LDA和QDA,我们假设 服从多元高斯分布,先验概率 ,这时又称为高斯判别分析
(GDA)。
此时有:
其中 时特征维度。
假设所有类别都具有相同的协方差矩阵 ,会导出LDA。在比较两个类别 和 时,考虑它们的对数比率即可,
所以有
评论0