论文研究-改进局部均值与类均值权重的近邻分类.pdf
需积分: 0 75 浏览量
2019-09-10
12:17:02
上传
评论
收藏 944KB PDF 举报
计算机工程与应用
www.ceaj.org
2017，53（17）
1 引言
KNN（
k
-Nearest Neighbour）分类算法是机器学习
领域的一个经典算法，该算法具有直观、无需先验统计
知识等特点。它为所有待分类的实例构建一个分类模
型，一次建模反复使用。其基本思想是基于最大投票分
类决策上，从训练样本中找到测试样本的
k
个最近邻，
然后根据这
k
个最近邻的类别来决定测试样本的类别
属性。多年来，KNN 方法在图像及空间，垃圾邮件识
别
[1]
、人脸识别
[2]
、飞机目标自动分类
[3]
及数据挖掘
[4]
等诸
多领域得到广泛的应用。
近年来对 KNN 方法不足之处的改进主要有以下几
点：（1）降低算法复杂度提高算法的执行效率，主要从减
少训练集大小去除大量冗余数据和采用快速算法和建
立高效的索引结存模型两方面。（2）避免噪声特征的干
扰，优化相似度度量方法。研究各种学习调整权值从而
改善分类准确率。（3）优化 KNN 判别决策规则以解决当
数据分布不规则时对分类性能的影响。（4）选取合适的
K
值。（5）各种算法与 KNN 分类方法的集成，如 SVM 与
KNN 结合，将
K
近邻准则与稀疏构图结合以及遗传算
法与模糊 KNN 集成等来提高分类性能。各种改进方法
中，本文关注的是在优化距离度量方面不同特征在分类
作用中权重的选取。在基于距离的加权算法中，Mi-
tani
[5]
等提出了一种基于局部均值的非参数分类方法，该
方法虽然克服了离群点
[6]
对分类性能的影响。但只是利
改进局部均值与类均值权重的近邻分类
葛月月，曾 勇，胡江平，舒 欢
GE Yueyue, ZE NG Yong, HU Jiangping, SHU Huan
电子科技大学 自动化工程学院，成都 611731
School of Automation E ngineering, Univ ersity of Electronic Scien ce and Technology of China, Chengdu 611731, Chin a
GE Yueyue, ZENG Yong, HU Jiangping, et al. Improved nearest neighbor classification based on local mean and
class mean with modified we ights. Computer Engineering and Applications, 2017, 53（17）：137-142.
Ab stract: In order to improve the cl assi fication accuracy of tr aditional nearest neighbor classif ication based on local
mean and class mean（LMS）, it is necessary to study the weights allocation of class mean. The paper uses objective decision-
making informati on to determine the weight of clas s mean as a mathematical formula. The simult aneous method w ith step
size optimization techniques obtai ns a more appropriate di stance weighting. A large amount of experiments by the UCI
dataset show that the improved algori thm prevails over traditio nal LMS algorithm in cl assification effect.
Key wor ds: class mean; step size optimization; weight; cross-validation
摘 要：为改进传统的基于局部均值与类均值的近邻分类算法的分类精度，有必要对分类中类均值向量的权重分配
进行研究。将类均值向量的权重基于客观决策信息确定为数学公式，并运用步长优化的统一迭代法来对加权权重
进行选取，通过 UCI 数据集大量实验表明，使用改进的分类算法进行仿真实验，结果表明，改进算法在正确率方面优
于传统算法。
关键词：类均值；步长优化；权重；交叉验证
文献标志码：A 中图分类号：TP39 1.1 doi：10.3778/j.issn.1002-8 331.1603-0015
基金项目：国家自然科学基金（No.61104104，No.6 147301）；四川省信号与信息重点实验室基金（No.SZJJ2009-002）。
作者简介：葛月月（1995—），女，硕士研究生，主要研究方向为模式识别与图像处理，E-mail：894801127@qq.com；曾勇（1 968—），
男，副教授，主要研究方向为智能信息处理与控制，计算机视觉与模式识别；胡江平（1977—），男，教授，主要研究方向
为复杂系统控制与优化；舒欢（1991—），女，硕士研究生，主要研究方向为计算机视觉。
收稿日期：2016-03-02 修回日期：2016-04-19 文章编号：1002-8331（2017）17-0137-06
CN KI 网络优先出版：2016-07-08, http:/ /www.cnki.net/kcms/detail/11.2127.TP.20160708.1732.008.html
⦾模式识别与人工智能⦾
Computer Engineering and Applications 计算机工程与应用
137
评论0
最新资源