python gensim使用使用word2vec词向量处理中文语料的方法词向量处理中文语料的方法
主要介绍了python gensim使用word2vec词向量处理中文语料的方法，文中通过示例代码介绍的非常详细，对大
家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
word2vec介绍介绍
word2vec官网：https://code.google.com/p/word2vec/
word2vec是google的一个开源工具，能够根据输入的词的集合计算出词与词之间的距离。
它将term转换成向量形式，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表
示文本语义上的相似度。
word2vec计算的是余弦值，距离范围为0-1之间，值越大代表两个词关联度越高。
词向量：用Distributed Representation表示词，通常也被称为“Word Representation”或“Word Embedding（嵌入）”。
简言之：词向量表示法让相关或者相似的词，在距离上更接近。
具体使用（处理中文）具体使用（处理中文）
收集语料收集语料
本文：亚马逊中文书评语料，12万+句子文本。
语料以纯文本形式存入txt文本。
注意：
理论上语料越大越好
理论上语料越大越好
理论上语料越大越好
重要的事情说三遍。
因为太小的语料跑出来的结果并没有太大意义。
分词分词
中文分词工具还是很多的，我自己常用的：
- 中科院NLPIR
- 哈工大LTP
- 结巴分词
注意：分词文本将作为word2vec的输入文件。
分词文本示例
word2vec使用使用
python，利用gensim模块。
win7系统下在通常的python基础上gensim模块不太好安装，所以建议使用anaconda，具体参见： python开发之
anaconda【以及win7下安装gensim】
直接上代码——
#!/usr/bin/env python
# -*- coding: utf-8 -*-
评论2
最新资源