# text_classification_paddle
### 代码说明
${project}/pretrained_text_classification
paddle框架写的基于ERNIE的text classification。采用ernie+fc的方式训练,包括差分学习率,softmax多分类任务(acti_fun: softmax),sigmoid二分类任务(acti_fun: sigmoid,且训练数据标签种类只能是2个,在), sigmoid多标签任务(acti_fun: sigmoid,且训练数据标签种类超过2个)。均可在${project}/pretrained_text_classification/config/train_conf.ini进行配置。具体使用那种模型在config中可以配置,一目了然。
${project}/text_classification
paddle框架实现**BoWModel, LSTMModel, BiLSTMAtt,GRUModel,BiGRUAtt,CNNModel**模型,包括差分学习率,**softmax多分类任务**(acti_fun: softmax),**sigmoid二分类任务**(acti_fun: sigmoid,且训练数据标签种类只能是2个,在), **sigmoid多标签任务**(acti_fun: sigmoid,且训练数据标签种类超过2个)。均可在${project}/text_classification/config/train_conf.ini进行配置。具体使用那种模型在config中可以配置,一目了然。
### 运行步骤
1.**标签配置:**在/input/label.txt中进行标签配置,格式参考Demo,如果是sigmoid的二分类建议labelid为0的是负样本,1的是正样本。
2.**数据准备:**在/input/train_data/train.txt中按照demo格式放入待训练的数据,两列,第一列为需要分类的文本,第二列为labelname(类别需在${project_dir}/input/label.txt配置)。同理,可在dev_data和test_data增加验证和测试数据
3.**环境准备:**按照requirments.txt安装相应的包即可,修改/env.sh配置cuda位置和使用的gpu卡,默认0卡。然后终端执行 `source env.sh `
4.**训练模型:**`python3 src/train.py config/train_conf.ini`模型会保存在text_classification_paddle/model/dygraph/(动态图模型)和text_classification_paddle/model/dygraph/(静态图模型用于推理部署) 文件夹中(脚本自动创建文件夹)
5.**预测模型:**`cat input/test_data/test.txt | python3 src/predict.py config/train_conf.ini` 预测结果会直接打印到终端,可自行重定向到指定文件。
**其他:** 友情提供多分类,多标签,二分类标数据集供学习交流
链接:https://pan.baidu.com/s/1A9VEjvgcOGznTeSPaRGrIQ?pwd=3J36
提取码:3J36
如果遇到任何问题,可以给本人邮箱jmdang777@qq.com发邮件,看到都会回复。
云哲-吉吉2021
- 粉丝: 4055
- 资源: 1128
最新资源
- 计算机二级考试全面备考指南与学习心得
- 树木的信息数据集(德国罗斯托克地区树木的信息)
- Python爬虫基础知识与实践指南
- 连接ESP32手表来做验证20241223-140953.pcapng
- 有源电力滤波器,APF,有源电力滤波器仿真,电力电子仿真,无差拿控制,谐波补偿 提供参考文献
- 某平台广告投入分析与销售预测
- 国际象棋桌子检测6-YOLO(v5至v9)、COCO、CreateML、Darknet、Paligemma、TFRecord数据集合集.rar
- 永磁同步电机参数辨识模型,在线辨识,离线辨识,电参数机械参数均可辨识,基于最小二乘法,滑模观测,电压注入,模型参考自适应等 机械参数在线 离线 ,电气参数在线 (三种方法,最小二乘和mras以及卡尔
- dbeaver-ce-24.3.1-x86-64-setup.exe
- 基于粒子群的ieee30节点优化、配电网有功-无功优化 软件:Matlab+Matpowre 介绍:对配电网中有功-无功协调优化调度展开研究,通过对光伏电源、储能装置、无功电源和变压器分接头等设备协调
- 基于ssm的高校教务管理系统设计与实现
- VirtualGL-2.6.5.x86-64.rpm
- 艾利和iriver Astell&Kern SP3000 V1.30升级固件
- turbovnc-2.2.6.x86-64.rpm
- Labview Modbus-Tcp和西门子全糸列pLC通讯所有数据类型均能读写,速度快,使用在多个项目上,运行稳定,可以扩展到其它品牌PLc,上位机程序一样,只是PLC程序稍微变动一下,上下位机源
- 国际象棋检测10-YOLO(v5至v11)、COCO、CreateML、Paligemma、TFRecord、VOC数据集合集.rar
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈