# Word2Vec-sentiment
## 基于Word2Vec+SVM对电商的评论数据进行情感分析
首先是利用word2vec对正负评论数据进行词向量训练,然后利用SVM分类器对语料进行分类,具体的过程如下:
### 第一步:加载数据、进行jieba分词、对数据进行随机切分,生成训练集和测试集(对应的代码部分为data_seal.py)
pos = pd.read_table('E:/NLP/chinese-w2v-sentiment/data/pos.csv',header=None,index_col=None)
neg = pd.read_table('E:/NLP/chinese-w2v-sentiment/data/neg.csv',header=None,index_col=None)
导入数据,然后利用jieba对数组进行分词,将分词结果与生成的相同维度的标签table数组进行合并,合并的方式有很多种:这里我用的是np.append(a,b,axis=0)
的方式。数据准备好了之后就是对数据进行切分,随机生成测试数据集和训练集,这里的比例test_size可以根据数据的实际大小进行设置,正常设置成0.2和0.3。
为了后面的运算方便,对切分的数据进行保存。分别为data文件下的x_train_data、x_test_data、y_train_data、y_test_data。
### 第二步:计算每段话的向量(代码对应的是word_vec.py和model.py)
通过遍历每句话中每个词的词向量,然后求均值,将均值表示为这一句话对应的向量,当然这里只是简单初级的处理,也可以参考doc2vec的方法对
句子进行向量化,但是工程应用上的效果不是特别好,大家也可尝试一下看看,这里毕竟只是初级的教程。
### 第三步:训练SVM模型(代码对应的是train_model.py)
### 第四步:对单个句子进行分类,情感判断(对应的代码为model_test.py)
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
svm 一步:加载数据、进行jieba分词、对数据进行随机切分,生成训练集和测试集(对应的代码部分为data_seal.py) pos = pd.read_table('E:/NLP/chinese-w2v-sentiment/data/pos.csv',header=None,index_col=None) neg = pd.read_table('E:/NLP/chinese-w2v-sentiment/data/neg.csv',header=None,index_col=None) 导入数据,然后利用jieba对数组进行分词,将分词结果与生成的相同维度的标签表数组进行合并,合并的方式有很多种:这里我用的是np.append(a,b,axis=0) 的方式。数据准备好了之后就是对数据进行切分,随机生成测试数据集和训练集,这里的比例test_size可以根据数据的实际大小进行设置,正常设置成0.2和0.3。 为了后面的运算方便,对切分的数据进行保存。分别为数据文件下的x_train_data、x_test_data、y_train_data、y_test_data。 第二步:
资源推荐
资源详情
资源评论
收起资源包目录
master.7z (18个子文件)
master
Word2Vec-sentiment-master
data_seal.py 1KB
svm_model
svm_model.pkl 18.45MB
model_test.py 993B
data
y_test_data.csv 16KB
neg.csv 2.49MB
y_test_data.npy 33KB
x_train_data.npy 14.94MB
x_test_data.csv 2.23MB
y_train_data.csv 66KB
y_train_data.npy 132KB
x_test_data.npy 3.6MB
pos.csv 3.39MB
stop_char.txt 541B
x_train_data.csv 8.86MB
train_model.py 792B
model.py 1KB
word_vec.py 1008B
README.md 2KB
共 18 条
- 1
资源评论
H_zizi
- 粉丝: 355
- 资源: 66
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功