没有合适的资源?快使用搜索试试~ 我知道了~
LMS算法原理及推导
5星 · 超过95%的资源 需积分: 44 1.7k 下载量 160 浏览量
2008-04-27
05:49:14
上传
评论 47
收藏 723KB PDF 举报
温馨提示
试读
25页
LMS(Least Mean Squre)算法是一种常用于自适应滤波器的算法。
资源推荐
资源详情
资源评论
第八章 自适应滤波
在第五章和第六章中,我们介绍了维纳滤波和卡尔曼滤波。维纳滤波器参数是固定的,
适合于平稳随机信号。卡尔曼滤波器参数是时变的,适合于非平稳随机信号。然而,只有在
信号和噪声的统计特性先验已知的情况下,这两种滤波技术才能获得最优滤波。在实际应用
中,常常无法得到信号和噪声统计特性的先验知识。在这种情况下,自适应滤波技术能够获
得极佳的滤波性能,因而具有很好的应用价值。
常用的自适应滤波技术有:最小均方(LMS)自适应滤波器、递推最小二乘(RLS)滤
波器、格型滤波器和无限冲激响应(IIR)滤波器等。这些自适应滤波技术的应用又包括:
自适应噪声抵消、自适应谱线增强和陷波等。现在,已经有许多信号处理书籍全面介绍了自
适应滤波技术。考虑到生物医学工程专业大三本科生的学习基础,本章首先介绍最小均方
(LMS)自适应滤波器原理,在此基础上介绍自适应噪声抵消器及其生物医学应用,这样
安排更能够突出本教材的宗旨。
第一节 LMS 自适应维纳滤波器
LMS 自适应滤波器是使滤波器的输出信号与期望响应之间的误差的均方值为最小,因
此称为最小均方(LMS)自适应滤波器。
8.1.1 基本 LMS 算法
构成自适应数字滤波器的基本部件是自适应线性组合器,如图 8-1 的所示。设线性组合
器的 M 个输入为
(1),( )
x
kxk−−L M
−
,其输出 是这些输入加权后的线性组合,即 ()yk
1
() ( )
M
i
i
yk Wxk i
=
=
∑
(8-1-1)
图 8-1 自适应线性组合器
定义权向量 ,且
123
[,,, ]
T
m
WWWW W= L
() [ (( 1)), , (( ))]
T
Xk X k T X k MT=− −L
(8-1-2)
在图 8-1 中,令 代表“所期望的响应”,并定义误差信号 ()dk
1
() () ()
() ( )
M
i
i
kdkyk
dk WXk i
ε
=
=−
=− −
∑
(8-1-3)
式(8-1-3)写成向量形式
() () ()
() ()
T
T
kdkWXk
dk X kW
ε
=−
=−
(8-1-4)
误差平方为
22
() () 2() () () ()
TTT
kdkdkk kk
ε
=− +XWWXXW
上式两边取数学期望后,得均方误差
{
}
{
}
{
}
{
}
22
() () 2 () () () ()
TTT
EkEdk Edk k EXk k
ε
=− +XWW XW
(8-1-5)
定义互相关函数行向量
T
x
d
R
:
{
}
() ()
T
xd
T
R
EdkX k=
(8-1-6)
和自相关函数矩阵
{
}
() ()
T
XX
R
EXkX k=
(8-1-7)
则均方误差(8-1-5)式可表述为
{
}
{
}
22
() () 2
TT
xd XX
EkEdk RWWRW
ε
=−+
(8-1-8)
这表明,均方误差是权系数向量 W 的二次函数,它是一个中间向上凹的抛物形曲面,是具
有唯一最小值的函数。调节权系数使均方误差为最小,相当于沿抛物形曲面下降找最小值。
可以用梯度来求该最小值。
将式(8-1-8)对权系数 W 求导数,得到均方误差函数的梯度
{
}
2
() ()kEk
ε
∇=∇
{} {}
22
1
2() ()
T
M
Ek Ek
WW
εε
⎡⎤
∂
⎢⎥
=
∂∂
⎢⎥
⎣⎦
L,,
22
Xd XX
=− +
R
RW
(8-1-9)
令 ,即可求出最佳权系数向量 () 0k∇=
1
opt XX Xd
−
=WRR
(8-1-10)
它恰好是第五章研究 Wiener 滤波器遇到过的 Wiener- Hopf 方程。因此,最佳权系数向量
通常也叫作 Wiener 权系数向量。将 代入式(8-1-8)得最小均方误差
opt
W
opt
W
{
}
{
}
22
min
() ()
T
x
dopt
Ek Edk
ε
=−RW (8-1-11)
利用式(8-1-10)求最佳权系数向量的精确解需要知道
XX Xd
和
R
R
的先验统计知识,而且还需
要进行矩阵求逆等运算。Widrow and Hoff (1960)提出了一种在这些先验统计知识未知时求
的近似值的方法,习惯上称为 Widrow and Hoff LMS 算法。这种算法的根据是最优化方
opt
W
法中的最速下降法。根据最速下降法,“下一时刻”权系数向量 (1k )
+
W 应该等于“现时刻”
权系数向量 加上一个负均方误差梯度
()kW ()k
−
∇ 的比例项,即
(1) () (kk)k
μ
+= −∇WW (8-1-12)
式中,
μ
是一个控制收敛速度与稳定性的常数,称之为收敛因子。
不难看出,LMS 算法有两个关键:梯度 ()k
∇
的计算以及收敛因子
μ
的选择。
(一) 的近似计算 ()k∇
精确计算梯度 ()k
∇
是十分困难的,一种粗略的但是却十分有效的计算 的近似方法
是:直接取 作为均方误差
()k∇
2
()k
ε
{
}
2
()Ek
ε
的估计值,即
2
ˆ
() [ ()] 2()[()]kkk
εεε
∇=∇ = ∇
k
(8-1-13)
式中的 [()]k
ε
∇ 为
[ ( )] [ ( ) ( ) ( )] ( )
T
kdk kk
ε
∇=∇− =−WX Xk
k
)k
(8-1-14)
将式(8-1-14)代入式(8-1-13)中,得到梯度估值
ˆ
() 2() ()kk
ε
∇=− X
于是,Widrow – Hoff LMS 算法最终为
(1) ()2()(kkk
μ
ε
+= +WW X (8-1-15)
式(8-1-15)的实现方框图如图 8-2 所示
图 8-2 LMS 算法的实现方框图
下面分析梯度估值 的无偏性。 的数学期望为
ˆ
()k∇
ˆ
()k∇
{
}
{
}
ˆ
() 2 ()()Ek E kk
ε
∇=−X
{
}
2 ()[() () ()]
T
Ekdk kk=− −XXW
2[ ( )]
Xd XX
k=− −RRW
()k
=
∇ (8-1-16)
在上面的推导过程中,利用了 和()dk ()k
ε
二者皆为标量的事实。在得到最后的结果时,利
用了式(8-1-9)。式(8-1-16)表明,梯度估值 是无偏估计。
ˆ
()k∇
(二)
μ
的选择
对权系数向量更新公式(8-1-15)两边取数学期望,得
{
}
{
}
{
}
(1) ()2 ()()Ek Ek Ekk
με
+= +WW X
{
}
{
}
() 2 ()[() () ()]
T
Ek Ekdk kk
μ
=+ −WXXW
{
}
(2 ) ()2
XX Xd
Ek
μ
=− +
μ
I
RW R
(8-1-17)
式中,
I
为单位矩阵,
{
}
() ()
TT
XX
Ek k=RXXX
和
{
}
()()
xd
Ekdk=RX
。
当 时,
0k =
{
}
{
}
(1) ( 2 ) ( ) 2
XX Xd
EEo
μμ
=− +WIRW R
对于 ,利用上式结果,则有 1k =
{
}
{
}
{}
1
2
=0
(2) ( 2 ) (1) 2
(2 ) (0)2 (2 )
XX xd
i
XX XX Xd
i
EE
E
μμ
μμμ
=− +
=− + −
∑
WIRW R
I
RW IRR
起始时,
{
}
(0) (0)E =WW
故
{}
1
2
=0
(2) ( 2 ) (0) 2 ( 2 )
i
XX XX Xd
i
E
μμμ
=− + −
∑
WIRW IRR
i
R
1
重复以上迭代至 ,则有 1k +
{}
1
0
(1)(2 ) (0)2 (2 )
k
k
XX XX Xd
i
Ek I
μμμ
+
=
+=− + −
∑
WIRW R
(8-1-18)
由于 是实值的对称阵,我们可以写出其特征值分解式
XX
R
T
XX
−
=∑ =∑RQQQQ
(8-1-19)
这里,我们利用了正定阵 Q 的性质 ,且
1 T−
=QQ
1
(, , )
M
diag
λ
λ
∑= L
是对角阵,其对角元素
i
λ
是 的特征值。将式(8-1-19)代入式(8-1-18)后得
XX
R
{
}
11
(1)(2 )
k
Ek
μ
−+
+=− ∑WIQQW
1
0
2(2 )
k
i
Xd
i
μμ
−
=
+−∑
∑
I
QQ R
(8-1-20)
注意到以下恒等式及关系式:
(1)
(8-1-21a)
11 1
1
1
1
(2 )( 2 )
[( 2 ) ]
(2)
(2)
ii
i
i
I
μμ
μ
μ
μ
−− −
−
−
−
−∑ = −∑
=−∑
=−∑
−∑L
QQ QQ QQ
QI Q
QI Q
QI Q
1
(2)
i
μ
−
=−∑QI Q
(2)
11
00
lim ( 2 ) ( 2 )
k
i
k
ii
μμ
∞
−−
→∞
==
−∑ = −∑
∑∑
IQQ QI Q
1
[(2 ) ]
μ
1
−
−
=∑QQ
(8-1-21b)
(3)假定所有的对角元素的值均小于 1(这可以通过适当选择
μ
实现),则
1
lim( 2 ) 0
k
k
I
μ
+
→∞
−
∑= (8-1-21c)
(4)
11
XX
1
−
−−
=∑RQQ
(8-1-21d)
将式(8-1-21a)~(8-1-21d)代入式(8-20),结果有
{
}
11
(1)
Xd
Ek
−−
+=∑WQQR
1
XX Xd opt
−
==
R
RW
(8-1-22)
由此可见,当迭代次数无限增加时,权系数向量的数学期望值可收敛至 Wiener 解,其条件
是对角阵
(2)I
μ
−∑的所有对角元素均小于 1,即
max
12 1
μλ
−
<
或
max
1
0
μ
λ
<<
(8-1-23)
其中
max
λ
是 的最大特征值。
XX
R
μ
称为收敛因子,它决定达到式(8-1-22)的速率。事实上,
收敛于 由比值()Wk
opt
W
max min
d
λ
λ
= /
决定,该比值叫做谱动态范围。大的
d
值喻示要花费很
长的时间才会收敛到最佳权值。克服这一困难的方法之一是产生正交数据。
基本 LMS 自适应算法如下:
初始化:
(0) 0;=W
(0) ;
I
=R
选择
max
1
:0
μμ
λ
<<
1:For k to n final do=
() ( 1) 2[() ( 1) ()] ()
T
kk xk k kX
μ
=−+ − −WW W X k
LMS
自适应滤波器如图 8-3 所示。
图 8 – 3 LMS 自适应滤波器
8.1.2 基本 LMS 算法的性能
LMS 自适应滤波器的性能通常用所谓的“失调量”进行评估。失调 M
(
k
)
定义为
{
}
2
() 1( 1) ()/
T
Mk E Vk Xk−
式中, 是自适应滤波器与最佳滤波器的离差。 ()Vk
根据 Macchi(1986)的分析,LMS 滤波器与最佳权的离差 可以写成两个离差分量之()Vk
剩余24页未读,继续阅读
future_fighter
- 粉丝: 119
- 资源: 19
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
- 1
- 2
- 3
- 4
- 5
- 6
前往页