Word2vec算法详解

Word2vec 算法拆解文档

目录

1 算法背景............................................................................................................2

2 word2vec 算法..................................................................................................4

2.1 算法概述..................................................................................................4

2.2 基于 Hierarchical softmax 的 word2vec 模型............................................4

2.2.1 Hierarchical softmax 原理..............................................................4

2.2.2 算法实现过程—CBOW.....................................................................5

Word2vec 算法拆解

1 算法背景

深度学习在图像、音频等领域有了长足进步，但是在 NLP 领域仍感乏力，

主要是由于语言是人类思维高度抽象的产物。传统的语言模型中单词的表示是

面向字符串，典型的如 one-hot-representation，每个单词对应一个 ID，其表示方

法简单，向量的维度等于词表的大小。然而当词表较大时会增加计算负荷，汉

语的词汇量达到 10 万量级，因而容易造成维数灾难。同时，这种表示方法容易

造成“词汇鸿沟”，即词汇与词汇之间是相互孤立的，难以计算词汇之间的相似

度。因而在此基础上 Hinton 提出了 Distributed representation，通常称为“word

representation”，即词向量。一般而言，词向量的维度为 50—100，避免了维数

出语言为自然语言的概率，常用于模糊识别和评估机器语言是否合理等方面，

但是无法产生词向量。神经网络语言模型则是基于浮点向量，将随机化的词向

量作为输入，在计算单词与上下文构成自然语言概率的过程中训练词向量。将

神经网络引入到语言模型最早由百度徐伟提出。NNLM 包括三层网络，输入层、

隐藏层和输出层。输入层为初始化的词向量，隐藏层就如同普通的神经网络，

输出层为未归一化的 log 概率，最后使用 softmax 将概率归一化。然而隐藏层与

输出层之间存在大量的矩阵运算。word2vec 算法有效地解决了上诉问题。它不

仅能够有效地生成词向量，同时也可以减少运算量。下文将对其进行详细介绍。