推荐系统推荐系统Lambda架构算法（十一）：基于内容的电影推荐架构算法（十一）：基于内容的电影推荐
——物品冷启动处理、物品冷启动处理、word2vec、、Doc2Vec
文章目录文章目录基于内容的电影推荐：物品冷启动处理word2vec原理简介Word2VecWord2Vec使用Doc2Vec使用
基于内容的电影推荐：物品冷启动处理基于内容的电影推荐：物品冷启动处理
利用Word2Vec可以计算电影所有标签词之间的关系程度，可用于计算电影之间的相似度
word2vec原理简介原理简介
word2vec是google在2013年开源的一个NLP(Natural Language Processing自然语言处理) 工具，它的特点是将所有的词向量
化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。
one-hot vector VS. word vector
用向量来表示词并不是word2vec的首创
最早的词向量是很冗长的，它使用是词向量维度大小为整个词汇表的大小，对于每个具体的词汇表中的词，将对应的位置置为
1。
比如下面5个词组成词汇表，词”Queen”的序号为2， 那么它的词向量就是(0,1,0,0,0)同样的道理，词”Woman”的词向量就是
(0,0,0,1,0)。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F0oUMMMu-1583649631397)
(img/word2vec1.png)]
one hot vector的问题
如果词汇表非常大，如达到万级别，这样每个词都用万维的向量来表示浪费内存。这样的向量除了一个位置是1，其余位置全
部为0，表达效率低(稀疏)，需要降低词向量的维度
难以发现词之间的关系，以及难以捕捉句法（结构）和语义（意思）之间的关系
Dristributed representation可以解决One hot representation的问题，它的思路是通过训练，将每个词都映射到一个较短的词
向量上来。所有的这些词向量就构成了向量空间，进而可以用普通的统计学的方法来研究词与词之间的关系。这个较短的词向
量维度一般需要我们在训练时指定。
比如下图我们将词汇表里的词用”Royalty(王位)”,“Masculinity(男性气质)”, “Femininity(女性气质)”和”Age”4个维度来表示，King
这个词对应的词向量可能是(0.99,0.99,0.05,0.7)。当然在实际情况中，我们并不一定能对词向量的每个维度做一个很好的解
释。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qdJZjGQ0-1583649631398)
(img/word2vec2.png)]
有了用Dristributed representation表示的较短的词向量，就可以较容易的分析词之间的关系，比如将词的维度降维到2维，用
下图的词向量表示我们的词时，发现：King−Man+Woman=Queen ec{King} – ec{Man} + ec{Woman} = ec{Queen}King
−Man+Woman=Queen
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QESKPVEc-1583649631398)
(img/word2vec3.png)]
什么是word vector（词向量）
每个单词被表征为多维的浮点数，每一维的浮点数的数值大小表示了它与另一个单词之间的“距离”，表征的结果就是语义相近
的词被映射到相近的集合空间上，好处是这样单词之间就是可以计算的：
animal pet
dog -0.4 0.02
lion 0.2 0.35
animal那一列表示的就是左边的词与animal这个概念的”距离“
Word2Vec
**总结：**word2vec算法可以计算出每个词语的一个词向量，我们可以用它来表示该词的语义层面的含义
Word2Vec使用使用
from gensim.models import TfidfModel
import pandas as pd
import numpy as np
def get_movie_dataset():
# 加载基于所有电影的标签
资源评论
weixin_38628362
- 粉丝: 6
- 资源: 897
最新资源
- 绿色便携版Python打包版
- Ngrok内网穿透启动隧道工具
- 异步电机matlab仿真模型
- BMS电池管理控制器，开发板资料 电池管理系统策略开发，应用层软件，开发流程开发
- 基于Transformer的各种变体已经是时间序列以及多元时间序列的一大热点，自注意力机制以及多头自注意力机制本团队已经可以基于matlab平台实现
- 基于自适应在线学习的概率负荷预测（代码）
- 出基于滑模的永磁直线同步电机的鲁棒H无穷控制Matlab程序，对于学习SMC和H无穷的结合可以很好参考
- COMSOL 孔隙尺度渗流模拟，单相及多相渗流模拟，案例复现，水平集(LS)和相场(PF)实现两相流模拟，水驱油，水驱气，二氧化碳驱油等模拟
- 可三相LCL型并网逆变器仿真模型，LCL滤波器，电容电流反馈有源阻尼方法 只采用网侧电流环控制方法时，由于系统的固有谐振峰的存在，以及数字控制延时的影响，通常延时时间 Td=1.5Ts(Ts
- 联电SOA软件平台：基于MATLAB/Simulink加速汽车软件开发生态建设与实现
- 柴油发电机仿真 Matlab Simulink 柴油发电机matlab仿真 微电网仿真 柴油发电仿真 风光柴储微电网 光伏发电 柴油发电 风力发电 储能电池 光柴储微电网 风柴储微电网 风机光伏柴油
- IEEE Access模板
- V2G 充电桩，新能源汽车车载充电机， MATLAB仿真模型 ，PFC+CLLC拓扑； 1. V2G，AC DC，DC DC双向充放电； 2. 前级，双向AC DC单相整流器（PWM），输入AC
- ARM发布Armv9.5架构：迈向更强性能与灵活性的新时代
- 汽车行业面向服务架构(SOA)下传统应用向软件定义汽车(SDV)的迁移方案及挑战
- 西门子1200恒压供水程序+PID+触摸屏 此程序样 例为 一拖三恒压供水程序样，S7-1200PLC和KTP1000PN触摸屏 人机执行PID控制变频器实现恒压供水. 供学习参考，用15
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
