没有合适的资源?快使用搜索试试~ 我知道了~
基于负熵最大化的FastICA算法.doc
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 150 浏览量
2022-06-20
09:12:14
上传
评论
收藏 1.19MB DOC 举报
温馨提示
试读
11页
基于负熵最大化的FastICA算法.doc
资源推荐
资源详情
资源评论
基于负熵最大化的 FastICA 算法
一.算法原理:
独立分量分析(ICA)的过程如下图所示:在信源 中各分量相互独立的假设下,由
观察 通过结婚系统 把他们分离开来,使输出 逼近 。
图 1-ICA 的一般过程
ICA 算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类,
从原理上来说,它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中,
各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。
如 FastICA 算法, Infomax 算法,最大似然估计算法等。基于统计学的方法主要有二阶累积量、
四阶累积量等高阶累积量方法。本实验主要讨论 FastICA 算法。
1. 数据的预处理
一般情况下,所获得的数据都具有相关性,所以通常都要求对数据进行初步的白化或球
化处理,因为白化处理可去除各观测信号之间的相关性,从而简化了后续独立分量的提取
过程,而且,通常情况下,数据的白化处理能大大增强算法的收敛性。
若一零均值的随机向量 满足 ,其中: 为单位矩阵,
我们称这个向量为白化向量。白化的本质在于去相关,这同主分量分析的目标是一样的。
在 ICA 中 , 对 于 为 零 均 值 的 独 立 源 信 号 , 有 :
,且协方差矩阵是单位阵 ,因此,源信号
是白色的。对观测信号 ,我们应该寻找一个线性变换,使 投影到新的子空
间后变成白化向量,即:
(2.1)
其中, 为白化矩阵, 为白化向量。
利用主分量分析,我们通过计算样本向量得到一个变换
其中 和 分别代表协方差矩阵 的特征向量矩阵和特征值矩阵。可以证明,线性变换
满足白化变换的要求。通过正交变换,可以保证 。因此,协方差矩阵:
(2.2)
再将 式代入 ,且令 ,有
(2.3)
由于线性变换 连接的是两个白色随机矢量 和 ,可以得出 一定是一个正
交变换。如果把上式中的 看作新的观测信号,那么可以说,白化使原来的混合矩阵
简化成一个新的正交矩阵 。证明也是简单的:
(2.4)
其实正交变换相当于对多维矢量所在的坐标系进行一个旋转。
在多维情况下,混合矩阵 是 的,白化后新的混合矩阵 由于是正交矩阵,其
自由度降为 ,所以说白化使得 ICA 问题的工作量几乎减少了一半。
白化这种常规的方法作为 ICA 的预处理可以有效地降低问题的复杂度,而且算法简单,
用传统的 PCA 就可完成。用 PCA 对观测信号进行白化的预处理使得原来所求的解混合矩
阵退化成一个正交阵,减少了 ICA 的工作量。此外,PCA 本身具有降维功能,当观测信号
的个数大于源信号个数时,经过白化可以自动将观测信号数目降到与源信号维数相同。
2. FastICA 算法
FastICA 算法,又称固定点(Fixed-Point)算法,是由芬兰赫尔辛基大学 Hyvärinen 等人提
出来的。是一种快速寻优迭代算法,与普通的神经网络算法不同的是这种算法采用了批处
理的方式,即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处理的观点
看该算法仍可称之为是一种神经网络算法。FastICA 算法有基于峭度、基于似然最大、基
于负熵最大等形式,这里,我们介绍基于负熵最大的 FastICA 算法。它以负熵最大作为一
个搜寻方向,可以实现顺序地提取独立源,充分体现了投影追踪(Projection Pursuit)这种
传统线性变换的思想。此外,该算法采用了定点迭代的优化算法,使得收敛更加快速、稳
健。
因为 FastICA 算法以负熵最大作为一个搜寻方向,因此先讨论一下负熵判决准则。由
信息论理论可知:在所有等方差的随机变量中,高斯变量的熵最大,因而我们可以利用熵
来度量非高斯性,常用熵的修正形式,即负熵。根据中心极限定理,若一随机变量 由许
多相互独立的随机变量 之和组成,只要 具有有限的均值和方差,则不
论其为何种分布,随机变量 较 更接近高斯分布。换言之, 较 的非高斯性更强。
因此,在分离过程中,可通过对分离结果的非高斯性度量来表示分离结果间的相互独立性 ,
当非高斯性度量达到最大时,则表明已完成对各独立分量的分离。
负熵的定义:
(2.5)
式中, 是一与 具有相同方差的高斯随机变量, 为随机变量的微分熵
(2.6)
根据信息理论,在具有相同方差的随机变量中,高斯分布的随机变量具有最大的微分熵 。
当 具有高斯分布时, ; 的非高斯性越强,其微分熵越小, 值越大,
剩余10页未读,继续阅读
资源评论
智慧安全方案
- 粉丝: 3651
- 资源: 59万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功