DeepLearning实战之Word2Vec资源-CSDN文库

深度学习

Word2Vec

需积分: 10 103 浏览量 2018-01-03 15:57:19 上传评论收藏 1.99MB PDF 举报

资源推荐

资源详情

资源评论

Deep Learning 实战之 word2vec

邓澍军、陆光明、夏龙

网易有道

2014.02.27

一、什么是 word2vec？ .......................................................................................................... 2

二、快速入门 ........................................................................................................................... 3

三、作者八卦 ........................................................................................................................... 4

四、背景知识 ........................................................................................................................... 5

4.1 词向量 ........................................................................................................................ 5

4.2 统计语言模型 ............................................................................................................ 5

4.3 NNLM .......................................................................................................................... 7

4.4 其他 NNLM ................................................................................................................ 9

4.5 Log-Linear 模型 ........................................................................................................... 9

4.6 Log-Bilinear 模型 ...................................................................................................... 10

4.6 层次化 Log-Bilinear 模型......................................................................................... 10

五、模型 ................................................................................................................................. 11

5.1 CBOW ........................................................................................................................ 11

5.2 Skip-Gram .................................................................................................................. 13

5.3 为什么要使用 Hierarchical Softmax 或 Negative Sampling .................................... 16

六、Tricks................................................................................................................................ 17

6.1 指数运算 .................................................................................................................. 17

6.2 按 word 分布随机抽样 ........................................................................................... 18

6.3 哈希编码 .................................................................................................................. 20

6.4 随机数 ...................................................................................................................... 20

6.5 回车符 ...................................................................................................................... 20

6.6 高频词亚采样 .......................................................................................................... 21

七、分布式实现 ..................................................................................................................... 21

八、总结 ................................................................................................................................. 22

参考代码 ................................................................................................................................. 22

参考文献 ................................................................................................................................. 23

前言：

Deep Learning 已经很火了，本文作者算是后知后觉者，主要原因是作者的目

前工作是广告点击率预测，而之前听说 Deep Learning 最大的突破还是在图像语

音领域，而在 NLP 和在线广告点击预测方面的突破还不够大。但后来听说 Google

开源的 word2vec 还挺有意思，能够把词映射到 K 维向量空间，甚至词与词之间的

向量操作还能和语义相对应。如果换个思路，把词当做 feature，那么 word2vec

就可以把 feature 映射到 K 维向量空间，应该可以为现有模型提供更多的有用信

息，基于这个出发点，作者对 word2vec 的相关代码和算法做了相关调研，本文

就是作者关于 word2vec 调研的总结，也是作为自己以后备用。存在疏漏之处，

欢迎大家反馈：shujun_deng@163.com。

本文所有讨论都是基于 word2vec 以下版本的代码：

一、什么是 word2vec？

word2vec 是 Google 在 2013 年年中开源的一款将词表征为实数值向量的高效

工具，采用的模型有 CBOW（Continuous Bag-Of-Words，即连续的词袋模型）和

Skip-Gram 两种。word2vec 代码链接为：https://code.google.com/p/word2vec/，

遵循 Apache License 2.0 开源协议，是一种对商业应用友好的许可，当然需要充

分尊重原作者的著作权。

word2vec 一般被外界认为是一个 Deep Learning（深度学习）的模型，究其原

因，可能和 word2vec 的作者 Tomas Mikolov 的 Deep Learning 背景以及 word2vec

是一种神经网络模型相关，但我们谨慎认为该模型层次较浅，严格来说还不能算

是深层模型。当然如果 word2vec 上层再套一层与具体应用相关的输出层，比如

Softmax，此时更像是一个深层模型。

word2vec 通过训练，可以把对文本内容的处理简化为 K 维向量空间中的向量

运算，而向量空间上的相似度可以用来表示文本语义上的相似度。因此，word2vec

输出的词向量可以被用来做很多 NLP 相关的工作，比如聚类、找同义词、词性分

析等等。而 word2vec 被人广为传颂的地方是其向量的加法组合运算（Additive

Compositionality ），官网上的例子是：vector('Paris') - vector('France') +

vector('Italy') vector('Rome')，vector('king') - vector('man') + vector('woman') 

vector('queen')。但我们认为这个多少有点被过度炒作了，很多其他降维或主题

模型在一定程度也能达到类似效果，而且 word2vec 也只是少量的例子完美符合

这种加减法操作，并不是所有的 case 都满足。

word2vec 大受欢迎的另一个原因是其高效性，Mikolov 在论文[2]中指出一个

优化的单机版本一天可训练上千亿词。

Bengio 实验室呆过一段时间，也一起发表过 paper。而且相关的语言模型也被这

几个大牛翻江倒海搞了好多年。

还有一个 Deep Learning 相关开源工具 SENNA 的作者 Ronan Collobert 则是

Samy Bengio（也是张栋的博士生导师）的博士生，而 Samy Bengio 则是 Yoshua

Bengio 的亲弟弟。

四、背景知识

4.1 词向量

1. One-hot Representation

NLP 相关任务中最常见的第一步是创建一个词表库并把每个词顺序编号。这

实际就是词表示方法中的 One-hot Representation，这种方法把每个词顺序编号，

每个词就是一个很长的向量，向量的维度等于词表大小，只有对应位置上的数字

为 1，其他都为 0。当然在实际应用中，一般采用稀疏编码存储，主要采用词的

编号。

这种表示方法一个最大的问题是无法捕捉词与词之间的相似度，就算是近义

词也无法从词向量中看出任何关系。此外这种表示方法还容易发生维数灾难，尤

其是在 Deep Learning 相关的一些应用中。

2. Distributed Representation

Distributed representation 最早由 Hinton 在 1986 年提出

[8]

。其基本思想是

通过训练将每个词映射成 K 维实数向量（K 一般为模型中的超参数），通过词之

间的距离（比如 cosine 相似度、欧氏距离等）来判断它们之间的语义相似度。而

word2vec 使用的就是这种 Distributed representation 的词向量表示方式。

4.2 统计语言模型

传统的统计语言模型是表示语言基本单位（一般为句子）的概率分布函数，

这个概率分布也就是该语言的生成模型。一般语言模型可以使用各个词语条件概

率的形式表示：

(s) = (





󰇜 (



,



,





󰇛









Context)

其中 Context 即为上下文，根据对 Context 不同的划分方法，可以分为五大类：

（1）上下文无关模型（Context=NULL）

该模型仅仅考虑当前词本身的概率，不考虑该词所对应的上下文环境。这是

一种最简单，易于实现，但没有多大实际应用价值的统计语言模型。

󰇛



Context)=󰇛



󰇜=









这个模型不考虑任何上下文信息，仅仅依赖于训练文本中的词频统计。它是

n-gram 模型中当 n=1 的特殊情形，所以有时也称作 Unigram Model（一元文法统

计模型）。实际应用中，常被应用到一些商用语音识别系统中。

剩余22页未读，继续阅读

评论收藏

内容反馈

jenray

粉丝: 6
资源: 18

Deep Learning 实战之 Word2Vec

最新资源

Deep Learning 实战之 Word2Vec

Deep Learning实战之word2vec.pdf

深度学习word2vec学习笔记

深度学习word2vec学习笔记.docx

Deep Learning实战之word2vec

Deep Learning 实战之 Word2vec

Deep Learning 实战之 word2vec

Deep Learning 实战之 word2vec.pdf

Deep-Learning,深度学习实战：实战教程、手写数字识别、验证码识别

deep learning 实战之 word2vec

Deep learning实战之word2vec

word2vec源码与原理

Python技术文档 机器学习

TensorFlow-Google-Deep-Learning-Framework-in-Action:TensorFlow实战Google深度学习框架源代码。https

机器翻译资料汇总

计算机视觉

TensorFlow 实战 下 高清版

基于词嵌入对文本相似性进行检测（含源码、数据集、说明文档）（深度学习实战）.zip

黄文坚-TensorFlow 实战中文版 完整版 pdf

zhihu：此存储库包含我的个人专栏中的源代码（https：zhuanlan.zhihu.comzhaoyeyu），该源代码是使用Python 3.6实现的。 包括自然语言处理和计算机视觉项目，例如文本生成，机器翻译，深度卷积GAN和其他实战代码

YOLOv8-deepsort 实现智能车辆目标检测+车辆跟踪+车辆计数

YOLOv8网络结构图，自制visio文件，yolov8.vsds，需要的自取，在原有的基础上直接改就行了

yolov8(2023年8月版本),已经下好yolov8s.pt和yolov8n.pt

Transformer模型实现长期预测并可视化结果（附代码+数据集+原理介绍）

社交平台上经济类话题的文章热度信息，数据是真实的，但不是真实日期

Unet眼底血管图像分割数据集+代码+模型+系统界面+教学视频.zip

行人跌倒数据集（VOC格式）

YOLOV5 + 双目相机实现三维测距（新版本）

全新的SOTA模型YOLOv9

最新资源

Python技术文档机器学习

TensorFlow 实战下高清版

黄文坚-TensorFlow 实战中文版完整版 pdf

zhihu：此存储库包含我的个人专栏中的源代码（https：zhuanlan.zhihu.comzhaoyeyu），该源代码是使用Python 3.6实现的。包括自然语言处理和计算机视觉项目，例如文本生成，机器翻译，深度卷积GAN和其他实战代码