python相似性度量完整代码以及结果图片_数据相似性度量资源-CSDN文库

共2个文件

png：1个

py：1个

需积分: 50 153 浏览量 2022-03-13 00:04:11 上传评论收藏 23KB ZIP 举报

在Python编程语言中，相似性度量是一种评估两个或多个数据对象之间相似程度的方法，广泛应用于数据挖掘、机器学习和自然语言处理等领域。本资源包含了完整的Python代码实现和相关的结果图片，帮助用户深入理解并应用这些度量方法。我们要讨论的是基本的相似性度量方法。其中最常见的有欧几里得距离（Euclidean Distance）、曼哈顿距离（Manhattan Distance）和切比雪夫距离（Chebyshev Distance）。欧几里得距离是两点之间的直线距离，计算公式为两向量元素平方差之和的平方根；曼哈顿距离则是在笛卡尔坐标系中，两点间沿水平和垂直方向的绝对距离之和；而切比雪夫距离是两个向量对应元素的最大差值。接下来是余弦相似度（Cosine Similarity），它是通过计算两个向量的夹角余弦值来衡量它们的相似度。余弦值越接近1，表示两个向量越相似；越接近-1，表示越不相似。在文本分析中，这种方法常用于比较文档的语义相似性。 Jaccard相似系数也是一种常见的度量方式，尤其适用于集合数据。它定义为两个集合交集的大小除以并集的大小，可以用来衡量分类标签的相似性。对于字符串相似度，有Levenshtein距离和Jaro-Winkler距离。Levenshtein距离计算的是将一个字符串转换成另一个字符串所需的最少单字符编辑次数。Jaro-Winkler距离则考虑了字符串的前几个字符的相似性，特别适用于名字或地址的匹配。在自然语言处理中，TF-IDF（Term Frequency-Inverse Document Frequency）和Word2Vec是常用的文本相似度模型。TF-IDF衡量一个词在文档中的重要性，而Word2Vec通过训练神经网络模型，将词汇转化为高维向量，向量间的余弦相似度可反映词汇语义的相似性。提供的压缩包可能包含如下内容：使用以上提到的度量方法的Python实现代码，以及这些代码运行后的结果图片。这些结果图片可能展示了不同度量方法在不同类型数据上的效果对比，有助于直观理解各种相似性度量的特性。学习和理解这些相似性度量方法，不仅可以提升你在数据分析和机器学习项目中的技能，还可以帮助你更好地解决实际问题，如推荐系统中的物品推荐、文本分类中的文档相似性判断等。通过实际操作和可视化结果，你将能够更深入地掌握这些概念，并灵活运用到你的项目中去。

资源详情

资源评论

资源推荐

收起资源包目录

相异性度量.zip （2个子文件）

相异性度量

屏幕截图 2021-10-19 205811.png 23KB

difference.py 3KB

import pandas as pd import numpy as np # from __future__ import division def dif(test_data,sign): # data=np.zeros(np.shape(test_data))#生成一个全0相异性矩阵 d = pd.DataFrame(np.zeros((test_data.shape[1],test_data.shape[1])))#生成一个全0相异性矩阵 distance=pd.DataFrame(np.zeros((1,test_data.shape[0])))#距离 indicant=pd.DataFrame(np.zeros((1,test_data.shape[0])))#指示符 pd.set_option('precision', 2) for i in range(0,test_data.shape[0]+1):#i,j为相异矩阵的行列 # print(i) for j in range(0,i):#两个循环来遍历相异性矩阵的各个位置 if i==j: d.iat[i,j]=0 else : for f in range(0,len(sign)): # print(f) if (test_data.iat[f, i] == 0 and test_data.iat[f, j] == 0 and sign[f] == 'fdc'):#如果Xif=Xjf=0,或者f是非对称属性fdc--非对称 indicant.iat[0,f] = 0 elif test_data.iat[f, i]==None or test_data.iat[f, j]==None:#如果Xif=Xjf缺失 indicant.iat[0,f] = 0 else: indicant.iat[0,f] = 1#否则指示符为1 if test_data.iat[f, i]==None or test_data.iat[f, j]==None:#两个数据缺失则距离为0 distance.iat[0,f]=0 elif sign[f] == 'sz':#如果是数值型 distance.iat[0,f]=abs(test_data.iat[f, i]-test_data.iat[f, j])/(max(test_data.loc[f])-min(test_data.loc[f]))#公式 elif (sign[f] == 'fdc' or sign[f] == 'dc' or sign[f] == 'bc'): # 如果是标称或者二元（对称和非对称） if ( test_data.iat[f, i] == test_data.iat[f, j]): distance.iat[0,f] = 0#如果Xif=Xjf else: distance.iat[0,f]=1 elif sign[f]=='xs':#如果是序数型 # y=max(test_data.loc[f])-1 # test_data.loc[f]=(test_data.loc[f]-1)/y#公式，将原数据映射到（0，1） distance.iat[0, f] = abs(test_data.iat[f, i] - test_data.iat[f, j]) / ( max(test_data.loc[f]) - min(test_data.loc[f])) # 当作数值型处理 y=0 for x in range(0,distance.shape[1]): y=indicant.iat[0,x]*distance.iat[0,x]+y d.iat[i,j]=np.round(y/sum(indicant),2)#计算最终结果并保留两位小数 d.iat[j,i]=None print(d) return d if __name__ == '__main__': test1 =["A", "B", "C", "A"] # 标称 test2 = ["优秀", "一般", "良好", "优秀"] # 序数 test3 =[45, 22, 64, 28] # 数值 test_data=pd.DataFrame([test1, test2, test3]) test_data.loc[1]=[3,1,2,3]#将序数型数据提前排位并赋值 # test_data=np.matrix(test_data) # print(test_data.shape[0]) sign=["bc", "xs", "sz"] for x in range(0,len(sign)): if sign[x]=="xs": y = max(test_data.loc[x]) - 1 test_data.loc[x] = (test_data.loc[x] - 1) / y # 公式，将原数据映射到（0，1） else: continue # print(test_data) dif(test_data,sign)