项目:中文电影评论情感分类
如: 输入 评论语句 --> model --> positive/negative
一、数据集
数据集在data目录下,已经打好标签(1--positive, 0--negative),也已经做好分词
1. 训练集;包含2W条左右中文电影评论,其中正负向评论各1W条左右;
2. 验证集;包含6K条左右中文电影评论,其中正负向评论各3K条左右;
3. 测试集;包含360条左右中文电影评论,其中正负向评论各180条左右;
数据集的处理:
data_manager.py:
1. 把数据集读上来;
2. 把数据的中文词转成下标表示(词汇表),如:{'_PAD_': 0, '死囚': 1, '爱': 2, '刽子手': 3, '女贼': 4, ......}
3. 按照tensorflow框架的格式进行随机洗牌,分批次;
二、模型构建
基于lstm实现:network/mylstm.py
第一部分:词转成词向量
第二部分:2个RNN层
第三部分:用全连接层做分类, 转成概率格式
三、跑训练
train.py、model.py
1. 定义模型
2. 读取数据集
3. 训练:外循环是迭代、内循环批次
前向计算
计算误差(如果误差很小就可以结束)
计算梯度
更新权重
4. 保存模型
四、预测
使用训练好的模型,predict_demo.py
1. 加载模型
2. 加载词汇表
3. 把预测的句子转成词汇表下标表示
4. 送入模型进行前向计算
5. 判断是正向还是负向
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
项目:中文电影评论情感分类 如: 输入 评论语句 --> model --> positive/negative 一、数据集 数据集在data目录下,已经打好标签(1--positive, 0--negative),也已经做好分词 数据集的处理: data_manager.py: 二、模型构建 基于lstm实现:network/mylstm.py 第一部分:词转成词向量 第二部分:2个RNN层 第三部分:用全连接层做分类, 转成概率格式 三、跑训练 train.py、model.py 1. 定义模型 2. 读取数据集 3. 训练:外循环是迭代、内循环批次 前向计算、计算误差、计算梯度、更新权重 4. 保存模型 四、预测 使用训练好的模型,predict_demo.py 1. 加载模型、词汇表 3. 把预测的句子转成词汇表下标表示 4. 送入模型进行前向计算 5. 判断是正向还是负向
资源推荐
资源详情
资源评论
收起资源包目录
基于LSTM的电影评论感情倾向分析.zip (11个子文件)
基于LSTM的电影评论感情倾向分析
models
readme.md 2KB
data_manager.py 3KB
data
validation.txt 1.56MB
test.txt 105KB
train.txt 5.51MB
predict_demo.py 2KB
train.py 801B
model.py 4KB
network
simplernn.py 917B
mylstm.py 3KB
word2id.json 1.28MB
共 11 条
- 1
AI学长
- 粉丝: 403
- 资源: 26
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
- 1
- 2
- 3
- 4
- 5
前往页