> 目前已做,供学习交流用(本人水平比较低,难免有错,欢迎多多批评指正)
| 项目名字 | 演示domo训练时长(4090单卡环境) | 数据\模型无墙获取方式 | 能跑的消费显卡 | 实现作用\延伸作用 | 相关论文 |
| ---------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | -------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
| [ChatGLM-LoRA](ChatGLM-LoRA) | 2min(其实一个epoch都能拟合了,任务很简单,就20条数据) | 数据(仓库直接克隆下来就有)\模型(说明文档中的网盘或huggingface自动下载或手动下载) | 11GB(1080ti) | 定制作者的思想钢印\各种传统nlp任务的微调然后对比效果(相当于基于LLM的预训练,效果应该比bert那种好很多,晚点尝试) | [GLM](https://arxiv.org/abs/2103.10360),[LoRA](https://arxiv.org/abs/2106.09685) |
| [Chatglm-ptuning](Chatglm-ptuning) | 2hour(数据量比较大,55mb,11w5条左右训练数据) | 数据([TH cloud](https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1)或网盘)\模型(说明文档中的网盘或huggingface自动下载或手动下载) | 7GB(3060ti) | 根据输入生成广告词\各种生成任务,比如摘要,续写,代码注释等等 | [P-Tuning v2](https://arxiv.org/abs/2110.07602) |
| bloom领域模型微调 | 身体原因本项目暂不更新了,快的话51后继续更新,估计这两个星期发展也会很快吧 | | | 可商用的gpt替代方案 | |
| | | | | | |
# 一, [ChatGLM-LoRA](ChatGLM-LoRA)
> chatglm权重(需严格遵守官方许可,仅限于研究用途)和lora权重(随便用)方便不好联网的同学用
>
> 链接: https://pan.baidu.com/s/1HrT35ZvXJ1EmYeGsJnmA3g?pwd=i9yg 提取码: i9yg
>
## 0.特点
1. 基于LoRA通过20条自定义数据来微调ChatGLM给它印上别的作者的“思想钢印”
2. 只用11GB的显存几个微调,1080ti即可
3. **延伸:可以用在其他的专门的任务上做微调,比如翻译、分类等等,上个时代是基于预训练模型微调,也许这个时代基于LLM微调~**
## 1.训练、预测显卡使用程度
<details><summary><b>训练截图</b></summary>
![训练截图](./PIC/chatglmlora-训练截图.png)
</details>
<details><summary><b>预测截图</b></summary>
![预测截图](./PIC/chatglmlora-预测截图.png)
</details>
## 2.训练loss和每次直观查看
<details><summary><b>训练截图</b></summary>
![训练loss和每次直观查看](./PIC/chatglmlora-训练loss和每次直观查看.png)
</details>
## 3.训练前后模型对比对比(思想钢印哈哈)
### ①定制数据
<details><summary><b>原模型</b></summary>
![原模型作者](./PIC/chatglmlora-原模型作者.png)
</details>
<details><summary><b>微调后模型</b></summary>
![微调模型作者](./PIC/chatglmlora-微调模型作者.png)
</details>
### ②原始能力
<details><summary><b>原模型</b></summary>
![原模型回答](./PIC/chatglmlora-原模型回答.png)
</details>
<details><summary><b>微调后模型</b></summary>
![微调模型回答](./PIC/chatglmlora-微调模型回答.png)
</details>
# 二, [Chatglm-ptuning](Chatglm-ptuning)
> pt2微调出来时候的新chatglm权重(需严格遵守官方许可,仅限于研究用途)和广告文案数据方便不好联网的同学用
>
> 链接: https://pan.baidu.com/s/1ZQppZqPVMzxQADfXD1b16g?pwd=kxa1 提取码: kxa1
## 0.特点
1. 基于P-tuning2通过11w5条广告文案数据来微调ChatGLM给让它生成文案,更像工业场景
2. 只用7GB的显存就可以微调,3060ti即可
3. **延伸:可以用在其他的专门的任务上做微调,比如摘要、续写、代码注释等等,上个时代是基于预训练模型微调,也许这个时代基于LLM微调~**
## 1.训练显卡使用程度
<details><summary><b>训练截图</b></summary>
![chatglmpt2-训练截图](./PIC/chatglmpt2-训练截图.png)
</details>
## 2.训练loss和时长
<details><summary><b>训练loss和时长</b></summary>
![chatglmpt2-训练loss和时长](./PIC/chatglmpt2-训练loss和时长.png)
</details>
## 3.训练前后对比
<details><summary><b>示例1</b></summary>
```
Input: 类型#上衣*材质#牛仔布*颜色#白色*风格#简约*图案#刺绣*衣样式#外套*衣款式#破洞
Label: 简约而不简单的牛仔外套,白色的衣身十分百搭。衣身多处有做旧破洞设计,打破单调乏味,增加一丝造型看点。衣身后背处有趣味刺绣装饰,丰富层次感,彰显别样时尚。
Output[微调前]: 这件上衣的材质是牛仔布,颜色是白色,风格是简约,图案是刺绣,衣样式是外套,衣款式是破洞。
Output[微调后]: 这是一款简约的牛仔外套,破洞设计,将牛仔布破洞,带来一种随意与个性。破洞的牛仔外套,展现出时尚气息,带来一种休闲感。同时,刺绣图案,让整件外套更加立体。
```
</details>
<details><summary><b>示例2</b></summary>
```
Input: 类型#裙*版型#显瘦*风格#文艺*风格#简约*图案#印花*图案#撞色*裙下摆#压褶*裙长#连衣裙*裙领型#圆领
Label: 文艺个性的印花连衣裙,藏青色底蕴,低调又大气,撞色太阳花分布整个裙身,绚丽而美好,带来时尚减龄的气质。基础款的舒适圆领,简约不失大方,勾勒精致脸庞。领后是一粒包布扣固定,穿脱十分方便。前片立体的打褶设计,搭配后片压褶的做工,增添层次和空间感,显瘦又有型。
Output[微调前]: 类型#裙版型#显瘦风格#文艺风格#简约图案#印花图案#撞色裙下摆#压褶裙长#连衣裙裙领型#圆领 1. 连衣裙:简约风格,裙长为膝盖以上,裙领型为圆领。2. 裙下摆:压褶设计,使裙摆呈现出流畅的褶皱效果。3. 裙领型:裙领型为圆领,使穿上连衣裙后更加有型。4. 版型:采用显瘦设计,让连衣裙看起来更加苗条。5. 风格:文艺风格,让连衣裙更加有内涵和品味。6. 图案:印花设计,在连衣裙上印有独特的图案。7. 撞色:采用撞色设计,让连衣裙在色彩上更加鲜明、富有层次感。
Output[微调后]: 这是一款文艺范的连衣裙,以印花为元素,采用简约的印花,既能够突出文艺气质,又能够展现简约风。在印花的同时又有领子和裙摆的压褶设计,更加凸显文艺气质。简约而不会过于单调,搭配出街,穿着十分舒适。
```
</details>
# 三,Bloom可商用领域微调
> 身体原因本项目暂不更新了,快的话51后继续更新,估计这两个星期发展也会很快吧
## 1.微调前的模型:
| 输入 | 预测 | 目标 |
| --------------------------------------------- | ------------------ | ---------------------------- |
| Human: 心脏病怎么办<br>Assistant: | 咨询医生 | 数据集外的回答,没有标准答案 |
| Human: 上海的历年平均气温<br>Assistant: | 上海市历年平均气温 | 数据集外的回答,没有标准答案 |
| Human: 没心情看戏还被�
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
【探索人工智能的宝藏之地】 无论您是计算机相关专业的在校学生、老师,还是企业界的探索者,这个项目都是为您量身打造的。无论您是初入此领域的小白,还是寻求更高层次进阶的资深人士,这里都有您需要的宝藏。不仅如此,它还可以作为毕设项目、课程设计、作业、甚至项目初期的立项演示。 【人工智能的深度探索】 人工智能——模拟人类智能的技术和理论,使其在计算机上展现出类似人类的思考、判断、决策、学习和交流能力。这不仅是一门技术,更是一种前沿的科学探索。 【实战项目与源码分享】 我们深入探讨了深度学习的基本原理、神经网络的应用、自然语言处理、语言模型、文本分类、信息检索等领域。更有深度学习、机器学习、自然语言处理和计算机视觉的实战项目源码,助您从理论走向实践,如果您已有一定基础,您可以基于这些源码进行修改和扩展,实现更多功能。 【期待与您同行】 我们真诚地邀请您下载并使用这些资源,与我们一起在人工智能的海洋中航行。同时,我们也期待与您的沟通交流,共同学习,共同进步。让我们在这个充满挑战和机遇的领域中共同探索未来!
资源推荐
资源详情
资源评论
收起资源包目录
定制化chatgpt:多种超低成本定制化的chatgpt平替方案,带模型和数据且完整训练预测流程,可在线使用(仅限用.zip (32个子文件)
资料总结
ChatGLM-LoRA
cover_alpaca2jsonl.py 882B
infer.ipynb 14KB
modeling_chatglm.py 47KB
data
trans_chinese_alpaca_data
.keep 0B
trans_chinese_alpaca_data.json 18.68MB
.keep 0B
output
.keep 0B
finetune.ipynb 33KB
quantization.py 14KB
requirements.txt 237B
tokenize_dataset_rows.py 2KB
configuration_chatglm.py 4KB
README.md 942B
PIC
chatglmlora-训练loss和每次直观查看.png 114KB
easyAIGC.gif 12.02MB
chatglmpt2-训练截图.png 34KB
chatglmlora-预测截图.png 44KB
chatglmlora-原模型作者.png 74KB
chatglmlora-微调模型作者.png 64KB
chatglmpt2-训练loss和时长.png 95KB
chatglmlora-原模型回答.png 139KB
chatglmlora-训练截图.png 46KB
chatglmlora-微调模型回答.png 131KB
LICENSE 1KB
Chatglm-ptuning
trainer_seq2seq.py 11KB
main.py 16KB
evaluate.sh 613B
AdvertiseGen
.keep 0B
train.sh 821B
arguments.py 8KB
README.md 1KB
README.md 13KB
共 32 条
- 1
资源评论
妄北y
- 粉丝: 1w+
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功