KNN算法实验报告.doc
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
KNN算法实验报告 一 试验原理 K最近邻(k- NearestNeighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学 习算法之一。 该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的 样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN算法中,所选择的邻居 都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类 别来决定待分样本所属的类别。KNN方法虽然从原理上也依赖于极限定理,但在类别决策 时,只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本,而不是靠 判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说 ,KNN方法较其他方法更为适合。 KNN算法不仅可以用于分类,还可以用于回归。通过找出一个样本的k个最近邻居, 将这些邻居的属性的平均值赋给该样本,就可以得到该样本的属性。更有用的方法是将 不同距离的邻居对该样本产生的影响给予不同的权值(weight),如权值与距离成正比。 该算法在分类时有个主要的不足是,当样本不平衡时,如一个类的样本容量很大, 而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的K个邻居中大容量 类的样本占多数。该算法只计算"最近的"邻居样本,某一类的样本数量很大,那么或者 这类样本并不接近目标样本,或者这类样本很靠近目标样本。无论怎样,数量并不能影 响运行结果。可以采用权值的方法(和该样本距离小的邻居权值大)来改进。该方法的 另一个不足之处是计算量较大,因为对每一个待分类的文本都要计算它到全体已知样本 的距离,才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑 ,事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分 类,而那些样本容量较小的类域采用这种算法比较容易产生误分。 二 试验步骤 那么根据以上的描述,我把结合使用反余弦匹配和kNN结合的过程分成以下几个步骤 : 1.计算出样本数据和待分类数据的距离 2.为待分类数据选择k个与其距离最小的样本 3.统计出k个样本中大多数样本所属的分类 4.这个分类就是待分类数据所属的分类 数学表达:目标函数值可以是离散值(分类问题),也可以是连续值(回归问题).函数 形势为f:n维空间R—〉一维空间R。 第一步:将数据集分为训练集(DTrn)和测试集(DTES)。 第二步:在测试集给定一个实例Xq;在训练集(DTrn)中找到与这个实例Xq的K- 最近邻子集{X1、、、、XK},即:DKNN。 第三步:计算这K- 最近邻子集得目标值,经过加权平均:^f(Xq)=(f(X1)+...+f(XK))/k作为f(Xq)的近似 估计。改进的地方:对kNN算法的一个明显的改进是对k个最近邻的贡献加权,将较大的 权值赋给较近的近邻,相应的算法称为距离加权kNN回归算法,则公式1则修改为:^f(X q)=(w1*f(X1)+...+wk*f(XK))/(w1+...wk)一般地距离权值wi和距离成反比关系,例如, wi近似=1/d(xq;xi).K值的选择:需要消除K值过低,预测目标容易产生变动性,同时高 k值时,预测目标有过平滑现象。推定k值的有益途径是通过有效参数的数目这个概念。 有效参数的数目是和k值相关的,大致等于n/k,其中,n是这个训练数据集中实例的数目 。 缺点: (1)在大训练集寻找最近邻的时间是难以忍受的。 (2)在训练数据集中要求的观测值的数目,随着维数p的增长以指数方式增长。这是 因为和最近邻的期望距离随着维数p的增多而急剧上升,除非训练数据集的大小随着p以 指数方式增长。这种现象被称为"维数灾难"。 解决办法有下面几个: (1)通过降维技术来减少维数,如主成分分析,因子分析,变量选择(因子选择) 从而减少计算距离的时间; (2)用复杂的数据结构,如搜索树去加速最近邻的确定。这个方法经常通过公式2 公式1设定"几乎是最近邻"的目标去提高搜索速度; (3)编辑训练数据去减少在训练集中的冗余和几乎是冗余的点,从而加速搜索最近 邻。在个别例子中去掉在训练数据集中的一些观察点,对分类效果没有影响,原因是这 些点被包围属于同类的观测点中。 三 注意事项 KNN算法的实现要注意: 1.用TreeMap<String,TreeMap<String,Double>>保存测试集和训练集。 2.注意要以"类目_文件名"作为每个文件的key,才能避免同名不同内容的文件出现。 3.注意设置JM参数,否则会出现JAVAheap溢出错误。 4.本程序用向量夹角余弦计算相似度。 四 代码 //KNN.java package cqu.KNN; import java.util.ArrayList; impor
剩余10页未读,继续阅读
- 粉丝: 168
- 资源: 3万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
- 1
- 2
- 3
前往页