一种基于粒子滤波的双模态语音提取方法 (2008年)

说话人的唇动信息有助于加强对语音的感知 。根据说话人语音的双模态特性,将振动信息引入语音提取问题,提出了一种基于粒子滤波的贝叶斯融合架构的双模态语音提取方法 。该方法融合说话人的语音和唇动信息,根据信息论中的最大互信息准则与盲源分离中的高阶统计量准则,将音视频互信息与语音峭度的乘积作为代价函数,利用粒子滤波估计混合矩阵,解决时变瞬时混合情况下的语音提取问题。仿真结果表明,该方法在低信噪比情况下仍然能够实现语音信号的有效提取。