9D波环境下基于异类信息融合的目标跟踪

在人机交互、智能教室、视频会议、特定环境监控等系统中，如何利用视听媒体间存在的天然时空相关性，将视觉信息和听觉信息有效地融合，从而实现对目标的跟踪、识别、判决等，是异类信息融合领域的一个热点问题，牙惯上人们也称之为多媒体信息融合。 本文充分总结和讨论了关于信息融合、视觉跟踪、声源定位以及滤波器性能的基本理论和研究现状，并在此基础上，给出了两种基于视频与音频信息融合的人物跟踪算法。一种采用多层次卡尔曼滤波器作为融合工具，建立视听信息特征级融合模型。一种以简化的重要性采样粒子滤波器(ISPF:importance sampling particle filter)作为融合工具，建立视听信息决策级融合模型。