王鹏汇报_word2vec1

### Word2Vec简介 Word2Vec是一种用于训练词向量的模型工具，它能够捕捉到词语之间的语义关系，使得计算机能理解文本信息。Word2Vec由Google在2013年提出，主要包括两种模型：CBOW（Continuous Bag of Words）和Skip-gram。 #### CBOW模型 CBOW模型的基本思想是利用上下文来预测中心词。具体来说，假设在一个句子中，我们需要预测某个词，CBOW模型会根据这个词周围的词（即上下文）来推断这个未知词可能是什么。这与我们在日常生活中通过上下文来猜测陌生词汇含义的行为类似。 在CBOW模型中： - 输入层接收的是背景词的一热编码(one-hot encoding)。 - 投影层将所有背景词的一热编码进行累加。 - 输出层通过Softmax函数生成一个概率向量，表示在给定上下文的情况下各个词成为中心词的概率。 #### Skip-gram模型 与CBOW相反，Skip-gram模型则是利用中心词来预测其上下文。也就是说，给定一个词，模型会预测出现在该词周围的可能性较高的词。 在Skip-gram模型中： - 输入层同样是一热编码。 - 映射层通过权重矩阵与输入层相乘，得到中心词的词向量。 - 输出层通过另一个权重矩阵与中心词词向量相乘，然后通过Softmax函数得到每个词作为背景词的概率分布。 ### Word2Vec实现细节 #### 模型结构 - **输入层**：采用一热编码表示词汇，即每个词对应一个维度为词汇表大小的向量，其中只有该词对应的维度为1，其余均为0。 - **投影层/映射层**：对于CBOW模型，这里是将背景词的一热编码进行累加；而对于Skip-gram模型，则是通过权重矩阵与输入层相乘获得词向量。 - **输出层**：经过Softmax函数生成概率分布。 #### 训练目标 - **CBOW模型**：最大化给定上下文时正确预测中心词的概率。 - **Skip-gram模型**：最大化给定中心词时正确预测上下文的概率。 #### 梯度求解 在Skip-gram模型中，为了简化计算并提高效率，引入了一种特殊的计算方法。通常情况下，Softmax函数的分母需要遍历整个词汇表来计算每个词出现的概率，这在词汇量庞大的场景下是极其耗时的。 - **取值优化**：选择特定的数值如2，是为了简化梯度的计算。因为在求导过程中，对加法的操作相对于乘法更为简单，这有助于减少计算复杂度。 - **背景词分布**：背景词数量设定为2个，且均匀分布在中心词两侧，这种设置既考虑到了上下文的均衡性，又兼顾了计算效率。 - **梯度求解**：采用这样的设定，使得梯度的计算更加简便，有助于加快训练速度。 #### 训练技巧 - **预训练**：通常先使用大规模的语料库对Word2Vec模型进行预训练，从而获得初步的词向量。 - **微调**：随后可以在特定任务的数据集上对这些词向量进行微调，以适应特定领域的语言特点。 ### 小结 Word2Vec通过两种模型（CBOW和Skip-gram）以及两种训练技巧（Hierarchical Softmax和Negative Sampling）来高效地生成高质量的词向量。这些词向量不仅能够捕获词义信息，还能反映出词语之间的语义相似性，因此在自然语言处理领域有着广泛的应用价值。无论是文本分类、情感分析还是机器翻译等任务，Word2Vec都为后续的深度学习模型提供了强有力的基础支持。