使用预训练模型处理情感分类
=======
本项目是数据集使用的是ChnSentiCorp情感分类数据集。
项目的目的是为了验证MacBERT模型的有效性。[论文链接](https://ieeexplore.ieee.org/document/9599397)
实验方案如下表
----
| 微调模式 | 初始学习率 | scheduler | 最好的epoch | 验证集成绩 | 测试集成绩 |
|:----------------:|:-----:|:---------:|:--------:|:-----:|:-----:|
| 不冻结 | 2e-5 | 3,0.9 | 5 | 0.952 | 0.954 |
| 冻结word embedding | 2e-5 | 2,0.8 | 5 | 0.956 | 0.955 |
| 冻结所有embedding | 2e-5 | 2,0.8 | 17 | 0.958 | 0.958 |
| 不冻结 | 1e-5 | 3,0.9 | 12 | 0.955 | 0.963 |
| 只解冻pooler | 2e-5 | 2,0.8 | 6 | 0.883 | 0.890 |
| 不冻结 | 2e-5 | 2,0.8 | 2 | 0.949 | 0.953 |
| 冻结word embedding | 2e-5 | 2,0.8 | 3 | 0.946 | 0.944 |
> 原作者训练成绩
> ---
> ![alt 原作者训练成绩](assets/img.png)
![avatar](https://profile-avatar.csdnimg.cn/default.jpg!1)
三季人G
- 粉丝: 138
- 资源: 2369
最新资源
- 基于阿里Dubbo框架的服务切换工具资料齐全+详细文档.zip
- 基于大规模生产实践的,适合公司内部二开迭代dubbo的模板资料齐全+详细文档.zip
- 基于大众点评CAT(v1.3.6)监控的扩展,主要是跨服务的消息树(dubbo、http方式)、Cache以及DB监控等资料齐全+详细文档.zip
- 基于将dubbo协议转http的网关资料齐全+详细文档.zip
- 基于分布式微服务架构(在线电影),技术架构有SpringBoot、SpringCoud、dubbo、mybatis-plus、Druid,采用前后端分离方式进行
- 基于微服务架构的班车预约系统,第一个版本:springboot+mybatis+dubbo+mysql+redis等。第二个版本:spring-cloud重构,
- 滚动轴承故障诊断MATLAB程序:快速谱峭度、谱峭度+包络谱分析 滚动轴承故障诊断是机械工程领域的一个重要研究方向 滚动轴承是一种常见的机械元件,用于支撑和转动机械装置中的轴 然而,由于长时间使用或其
- matlab GUI界面设计
- VSC下垂控制策略仿真模型,支持MATLAB2014a及以上版本
- wechat4.0多开工具
- 课程大作业2:视觉功能库封装 作业内容: 利用预训练模型,基于1ibsophon(tpu-runtime)实现一个视觉功能(目标检测)的库 作业要求: 1)提交 patch 到tpu-mli 工程
- 学习笔记整理成语音.docx
- 毕设和企业适用springboot智能语音识别平台类及物流追踪系统源码+论文+视频.zip
- PPT_20241224_090531.pptx
- ai提示规则.txt啊啊啊
- Visual Studio Code的测试功能详细介绍.pdf
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)