huangsheng@ cq u . edu . cn
~
1
~
LDA 算法入门
黄晟 2010-04-03 重庆大学行业信息化工程中心
一． LDA
LDA
LDA
LDA 算法概述：
线性判别式分析 (Linear Discriminant Analysis, LDA) ，也叫做 Fisher 线性判别
(Fisher Linear Discriminant ,FLD) ， 是模式识别的经典算法 ， 它是在 1996 年由 Belhumeu r
引入模式识别和人工智能领域的 。 性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴
别矢量空间 ， 以达到抽取分类信息和压缩特征空间维数的效果 ， 投影后保证模式样本在新的
子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此
，
它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大
，
并且同时类内散布矩阵最小 。 就是说 ， 它能够保证投影后模式样本在新的空间中有最小的类
内距离和最大的类间距离，即模式在该空间中有最佳的可分离性。
二． LDA
LDA
LDA
LDA 假设以及符号说明：
假设对于一个
n
R
空间有 m 个样本分别为 x 1, x 2, …… xm 即 每个 x 是一个 n 行的矩阵，其
中
i
n
表示属于 i 类的样本个数，假设有一个有 c 个类，则
12
......
ic
nnnnm
+++++= 。
b
S
………………………………………………………………………… 类间离散度矩阵
w
S
………………………………………………………………………… 类内离散度矩阵
i
n
………………………………………………………………………… 属于 i 类的样本个数
i
x
…………………………………………………………………………… 第 i 个样本
u
…………………………………………………………………………… 所有样本的均值
i
u
…………………………………………………………………………… 类 i 的样本均值
三． 公式推导，算法形式化描述
根据符号说明可得类 i 的样本均值为：
1
i
xclassi
i
ux
n
∈
=
∑
…………………………………………………………………… （ 1 ）
同理我们也可以得到总体样本均值：
- 1
- 2
前往页