一种海上非作战目标实时清洗方法.docx
版权申诉
41 浏览量
2022-11-30
09:27:17
上传
评论
收藏 340KB DOCX 举报
目前，大多数轨迹数据挖掘技术都是通过聚类算法实现的，但实际应用于干扰因素
多、数据量大的海战场环境时，该算法存在以下弊端：（1）聚类算法大多是将空间位置
相近的轨迹聚为一类，极少考虑战场态势分析所需的目标位置、速度、航向、属性和类型
等多维特征；（2）海战场环境下数据量较大，聚类算法复杂的工作过程大大降低了运行
速率；（3）海战场环境下的目标航迹复杂多变，面对不同类型的目标，聚类算法的参数
设置很难统一；（4）采用聚类算法时，经常分离出一些不属于任何类的噪声点，而在海
战场环境下，这些噪声点很可能是具有单元素的特殊群，若将这些特殊群当作噪声点处
理，会对战场态势分析结果产生较大的影响。
本文参考数据预处理技术中的重复数据清洗技术
[1]
，将每条目标航迹数据看作一条记
录
[2]
。在处理航迹数据时，可将两条行为规律相似（空间位置相近、速度和航向相似、敌
我属性相同、目标类型一致）的航迹看作相似记录，将复杂的目标航迹行为规律挖掘问题
[3-4]
转化为较简单的相似重复记录检测问题。并且，在传统的相似重复记录检测
[5-6]
中，多源
数据通常是包含标识符的字符串数据，两个字符串是否相等不能仅通过算术得出，往往需
要定义一组等价规则，使得重复记录的清洗变得非常复杂。但在海战场环境下，多源数据
是经特殊编码后形成的报文数据，即用数值形式表示航迹中相应的属性信息，如目标的敌
我属性，分别用“0”“1”“2”表示我方、敌方和中立方，因此，将相似重复记录检测技术应用
于海战场数据处理过程，可大大降低计算记录间匹配相似度的复杂程度，有利于进行目标
航迹行为规律挖掘。
1. 相似重复记录检测原理
在构建数据库时，需要导入大量的多源数据并进行融合
[7-8]
。理想情况下，现实世界的
每个实体在数据库中都会有唯一一条记录与之对应；而实际情况下，若不同数据源对同一
实体的记录存在差异，系统不能有效识别、判定为同一实体，则合并后的数据库就会同时
保留这两条记录。若数据库中的两条相似但不完全重复的记录代表同一实体，则称这两条
记录为相似记录；若数据库中存在两条所有属性值都完全相同的记录，则称之为重复记
录。通常把相似记录和重复记录统称为相似重复记录，即同一实体对应数据库中的多条记
录。
相似重复记录检测，就是从多源数据集中找出表达现实世界中同一实体的记录。判断
两条记录是否相似重复，首先要比较记录的各对应属性，计算其字段相似度，再根据各属
性的权重进行加权平均，得到记录相似度。若两条记录的相似度超过某一阈值，则认为这
两条记录是匹配的、相似重复的，将二者合并或删除。
2. 多维度记录匹配相似度
剩余10页未读，继续阅读
罗伯特之技术屋
- 粉丝: 3691
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减5.97元 开通VIP
相关推荐
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0
最新资源