python代码如何实现余弦相似性计算
143 浏览量
2020-09-18
00:15:54
上传
评论 1
收藏 37KB PDF 举报
python代码如何实现余弦相似性计算代码如何实现余弦相似性计算
主要介绍了python代码如何实现余弦相似性计算,文中通过示例代码介绍的非常详细，对大家的学习或者工作具
有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了python代码如何实现余弦相似性计算,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一
定的参考学习价值,需要的朋友可以参考下
A：西米喜欢健身
B：超超不爱健身，喜欢打游戏
step1:分词分词
A：西米／喜欢／健身
B：超超／不／喜欢／健身，喜欢／打／游戏
step2:列出两个句子的并集列出两个句子的并集
西米／喜欢／健身／超超／不／打／游戏
step3:计算词频向量计算词频向量
A：[1,1,1,0,0,0,0]
B：[0,1,1,1,1,1,1]
step4:计算余弦值计算余弦值
余弦值越大，证明夹角越小，两个向量越相似。
step5:python代码实现代码实现
import jieba
import jieba.analyse
def words2vec(words1=None, words2=None):
v1 = []
v2 = []
tag1 = jieba.analyse.extract_tags(words1, withWeight=True)
tag2 = jieba.analyse.extract_tags(words2, withWeight=True)
tag_dict1 = {i[0]: i[1] for i in tag1}
tag_dict2 = {i[0]: i[1] for i in tag2}
merged_tag = set(tag_dict1.keys()) | set(tag_dict2.keys())
for i in merged_tag:
if i in tag_dict1:
v1.append(tag_dict1[i])
else:
v1.append(0)
if i in tag_dict2:
v2.append(tag_dict2[i])
else:
v2.append(0)
return v1, v2
def cosine_similarity(vector1, vector2):
dot_product = 0.0
normA = 0.0
normB = 0.0
for a, b in zip(vector1, vector2):
dot_product += a * b
normA += a ** 2
normB += b ** 2
资源评论
