项目:中文电影评论情感分类
如: 输入 评论语句 --> model --> positive/negative
一、数据集
数据集在data目录下,已经打好标签(1--positive, 0--negative),也已经做好分词
1. 训练集;包含2W条左右中文电影评论,其中正负向评论各1W条左右;
2. 验证集;包含6K条左右中文电影评论,其中正负向评论各3K条左右;
3. 测试集;包含360条左右中文电影评论,其中正负向评论各180条左右;
数据集的处理:
data_manager.py:
1. 把数据集读上来;
2. 把数据的中文词转成下标表示(词汇表),如:{'_PAD_': 0, '死囚': 1, '爱': 2, '刽子手': 3, '女贼': 4, ......}
3. 按照tensorflow框架的格式进行随机洗牌,分批次;
二、模型构建
基于lstm实现:network/mylstm.py
第一部分:词转成词向量
第二部分:2个RNN层
第三部分:用全连接层做分类, 转成概率格式
三、跑训练
train.py、model.py
1. 定义模型
2. 读取数据集
3. 训练:外循环是迭代、内循环批次
前向计算
计算误差(如果误差很小就可以结束)
计算梯度
更新权重
4. 保存模型
四、预测
使用训练好的模型,predict_demo.py
1. 加载模型
2. 加载词汇表
3. 把预测的句子转成词汇表下标表示
4. 送入模型进行前向计算
5. 判断是正向还是负向
AI学长
- 粉丝: 405
- 资源: 27
最新资源
- 白色风格的购物商城网站模板下载.zip
- 白色风格的后台管理模板整站下载.zip
- 白色风格的后台管理系统模板下载.rar
- 白色风格的生活社区网站模板下载.zip
- 白色风格的商务网站模板下载.rar
- 白色风格的手机网站模板下载.rar
- 白色风格的直播平台模板整站下载.zip
- 白色大气风格的商务会议活动模板下载.rar
- 白色大气风格的商务网站模板下载.rar
- 白色大气风格的商务团队公司模板下载.zip
- 白色大气风格的商业办公楼租赁模板下载.zip
- 白色大气风格的商业html5模板.zip
- 白色大气风格的商务英语学习培训网站模板.zip
- 白色大气风格的商业公司模板下载.zip
- 白色大气风格的商业代理公司模板下载.zip
- 白色大气风格的商业策划公司模板下载.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
- 1
- 2
- 3
- 4
- 5
前往页