没有合适的资源?快使用搜索试试~ 我知道了~
(11)独立成分分析1
需积分: 0 0 下载量 105 浏览量
2022-08-03
15:48:03
上传
评论
收藏 906KB PDF 举报
温馨提示
试读
11页
1. 问题: 2. ICA 的不确定性(ICA ambiguities) 3. 密度函数和线性变换 5. 实例 6. 行列式的梯度 7. ICA 算法扩展描述
资源详情
资源评论
资源推荐
独立成分分析(Independent Component Analysis)
JerryLead
csxulijie@gmail.com
1. 问题:
1、上节提到的 PCA 是一种数据降维的方法,但是只对符合高斯分布的样本点比较有效,那
么对于其他分布的样本,有没有主元分解的方法呢?
2、经典的鸡尾酒宴会问题(cocktail party problem)。假设在 party 中有 n 个人,他们可以同
时说话,我们也在房间中一些角落里共放置了 n 个声音接收器(Microphone)用来记录声音。
宴会过后,我们从 n 个麦克风中得到了一组数据
,i 表示
采样的时间顺序,也就是说共得到了 m 组采样,每一组采样都是 n 维的。我们的目标是单
单从这 m 组采样数据中分辨出每个人说话的信号。
将第二个问题细化一下,有 n 个信号源
,
,每一维都是一个人的
声音信号,每个人发出的声音信号独立。A 是一个未知的混合矩阵(mixing matrix),用来组
合叠加信号 s,那么
x 的意义在上文解释过,这里的 x 不是一个向量,是一个矩阵。其中每个列向量是
,
表示成图就是
这张图来自
http://amouraux.webnode.com/research-interests/research-interests-erp-analysis/blind-sou
rce-separation-bss-of-erps-using-independent-component-analysis-ica/
的每个分量都由
的分量线性表示。A 和 s 都是未知的,x 是已知的,我们要想办
法根据 x 来推出 s。这个过程也称作为盲信号分离。
令
,那么
将 W 表示成
其中
,其实就是将
写成行向量形式。那么得到:
2. ICA 的不确定性(ICA ambiguities)
由于 w 和 s 都不确定,那么在没有先验知识的情况下,无法同时确定这两个相关参数。
比如上面的公式 s=wx。当 w 扩大两倍时,s 只需要同时扩大两倍即可,等式仍然满足,因
此无法得到唯一的 s。同时如果将人的编号打乱,变成另外一个顺序,如上图的蓝色节点的
编号变为 3,2,1,那么只需要调换 A 的列向量顺序即可,因此也无法单独确定 s。这两种情况
称为原信号不确定。
还有一种 ICA 不适用的情况,那就是信号不能是高斯分布的。假设只有两个人发出的声
音信号符合多值正态分布,,I 是 2*2 的单位矩阵,s 的概率密度函数就不用说了
吧,以均值 0 为中心,投影面是椭圆的山峰状(参见多值高斯分布)。因为 ,因此,x
也是高斯分布的,均值为 0,协方差为
。
令 R 是正交阵
,
。如果将 A 替换成 A’。那么
。s 分布
没变,因此 x’仍然是均值为 0,协方差
。
因此,不管混合矩阵是 A 还是 A’,x 的分布情况是一样的,那么就无法确定混合矩阵,
也就无法确定原信号。
3. 密度函数和线性变换
在讨论 ICA 具体算法之前,我们先来回顾一下概率和线性代数里的知识。
假设我们的随机变量 s 有概率密度函数
(连续值是概率密度函数,离散值是概率)。
为了简单,我们再假设 s 是实数,还有一个随机变量 x=As,A 和 x 都是实数。令
是 x 的概
率密度,那么怎么求
?
令
,首先将式子变换成 ,然后得到
,求解完毕。可惜这
种方法是错误的。比如 s 符合均匀分布的话(),那么 s 的概率密度是
,现在令 A=2,即 x=2s,也就是说 x 在[0,2]上均匀分布,可知
。
然而,前面的推导会得到
。正确的公式应该是
推导方法
更一般地,如果 s 是向量,A 可逆的方阵,那么上式子仍然成立。
剩余10页未读,继续阅读
莉雯Liwen
- 粉丝: 23
- 资源: 305
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0