# int8
bitsandbytes==0.37.1
accelerate==0.17.1
# chatglm
protobuf>=3.19.5,<3.20.1
transformers==4.27.1
icetk
cpm_kernels==1.0.11
torch>=1.13.1
tensorboard
#
datasets==2.10.1
git+https://github.com/huggingface/peft.git # 最新版本 >=0.3.0.dev0
没有合适的资源?快使用搜索试试~ 我知道了~
chatglm使用lora进行模型微调训练
共8个文件
py:3个
json:1个
txt:1个
66 下载量 86 浏览量
2023-06-24
21:03:56
上传
评论 10
收藏 13.07MB ZIP 举报
温馨提示
chatglm使用lora进行模型微调训练,没有采用官方的方案,使用了另一种效果好的方案,对于显存特别友好,24g显存就能训练自己的垂直领域大模型训练了,效果还是非常的好的,适合自己机器不是很多的需要做实验的同学
资源推荐
资源详情
资源评论
收起资源包目录
ChatGLM-lora.zip (8个子文件)
ChatGLM-lora
cover_alpaca2jsonl.py 862B
data
alpaca_data.json 21.72MB
alpaca_data.jsonl 20.79MB
LICENSE 1KB
finetune.py 4KB
output
.keep 0B
requirements.txt 250B
tokenize_dataset_rows.py 2KB
共 8 条
- 1
资源评论
xuxu1116
- 粉丝: 2w+
- 资源: 71
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功