定制化chatgpt：多种超低成本定制化的chatgpt平替方案，带模型和数据且完整训练预测流程，可在线使用

> 目前已做，供学习交流用（本人水平比较低，难免有错，欢迎多多批评指正） | 项目名字 | 演示domo训练时长(4090单卡环境) | 数据\模型无墙获取方式 | 能跑的消费显卡 | 实现作用\延伸作用 | 相关论文 | | ---------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | -------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | | [ChatGLM-LoRA](ChatGLM-LoRA) | 2min(其实一个epoch都能拟合了，任务很简单，就20条数据) | 数据(仓库直接克隆下来就有)\模型(说明文档中的网盘或huggingface自动下载或手动下载) | 11GB(1080ti) | 定制作者的思想钢印\各种传统nlp任务的微调然后对比效果(相当于基于LLM的预训练，效果应该比bert那种好很多，晚点尝试) | [GLM](https://arxiv.org/abs/2103.10360)，[LoRA](https://arxiv.org/abs/2106.09685) | | [Chatglm-ptuning](Chatglm-ptuning) | 2hour(数据量比较大，55mb，11w5条左右训练数据) | 数据([TH cloud](https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1)或网盘)\模型(说明文档中的网盘或huggingface自动下载或手动下载) | 7GB(3060ti) | 根据输入生成广告词\各种生成任务，比如摘要，续写，代码注释等等 | [P-Tuning v2](https://arxiv.org/abs/2110.07602) | | bloom领域模型微调 | 身体原因本项目暂不更新了，快的话51后继续更新，估计这两个星期发展也会很快吧 | | | 可商用的gpt替代方案 | | | | | | | | | # 一， [ChatGLM-LoRA](ChatGLM-LoRA) > chatglm权重(需严格遵守官方许可，仅限于研究用途)和lora权重(随便用)方便不好联网的同学用 > > 链接: https://pan.baidu.com/s/1HrT35ZvXJ1EmYeGsJnmA3g?pwd=i9yg 提取码: i9yg > ## 0.特点 1. 基于LoRA通过20条自定义数据来微调ChatGLM给它印上别的作者的“思想钢印” 2. 只用11GB的显存几个微调，1080ti即可 3. **延伸：可以用在其他的专门的任务上做微调，比如翻译、分类等等，上个时代是基于预训练模型微调，也许这个时代基于LLM微调~** ## 1.训练、预测显卡使用程度 <details><summary><b>训练截图</b></summary>  </details> <details><summary><b>预测截图</b></summary>  </details> ## 2.训练loss和每次直观查看 <details><summary><b>训练截图</b></summary>  </details> ## 3.训练前后模型对比对比(思想钢印哈哈) ### ①定制数据 <details><summary><b>原模型</b></summary>  </details> <details><summary><b>微调后模型</b></summary>  </details> ### ②原始能力 <details><summary><b>原模型</b></summary>  </details> <details><summary><b>微调后模型</b></summary>  </details> # 二， [Chatglm-ptuning](Chatglm-ptuning) > pt2微调出来时候的新chatglm权重(需严格遵守官方许可，仅限于研究用途)和广告文案数据方便不好联网的同学用 > > 链接: https://pan.baidu.com/s/1ZQppZqPVMzxQADfXD1b16g?pwd=kxa1 提取码: kxa1 ## 0.特点 1. 基于P-tuning2通过11w5条广告文案数据来微调ChatGLM给让它生成文案，更像工业场景 2. 只用7GB的显存就可以微调，3060ti即可 3. **延伸：可以用在其他的专门的任务上做微调，比如摘要、续写、代码注释等等，上个时代是基于预训练模型微调，也许这个时代基于LLM微调~** ## 1.训练显卡使用程度 <details><summary><b>训练截图</b></summary>  </details> ## 2.训练loss和时长 <details><summary><b>训练loss和时长</b></summary>  </details> ## 3.训练前后对比 <details><summary><b>示例1</b></summary> ``` Input: 类型#上衣*材质#牛仔布*颜色#白色*风格#简约*图案#刺绣*衣样式#外套*衣款式#破洞 Label: 简约而不简单的牛仔外套,白色的衣身十分百搭。衣身多处有做旧破洞设计,打破单调乏味,增加一丝造型看点。衣身后背处有趣味刺绣装饰,丰富层次感,彰显别样时尚。 Output[微调前]: 这件上衣的材质是牛仔布,颜色是白色,风格是简约,图案是刺绣,衣样式是外套,衣款式是破洞。 Output[微调后]: 这是一款简约的牛仔外套,破洞设计,将牛仔布破洞,带来一种随意与个性。破洞的牛仔外套,展现出时尚气息,带来一种休闲感。同时,刺绣图案,让整件外套更加立体。 ``` </details> <details><summary><b>示例2</b></summary> ``` Input: 类型#裙*版型#显瘦*风格#文艺*风格#简约*图案#印花*图案#撞色*裙下摆#压褶*裙长#连衣裙*裙领型#圆领 Label: 文艺个性的印花连衣裙,藏青色底蕴,低调又大气,撞色太阳花分布整个裙身,绚丽而美好,带来时尚减龄的气质。基础款的舒适圆领,简约不失大方,勾勒精致脸庞。领后是一粒包布扣固定,穿脱十分方便。前片立体的打褶设计,搭配后片压褶的做工,增添层次和空间感,显瘦又有型。 Output[微调前]: 类型#裙版型#显瘦风格#文艺风格#简约图案#印花图案#撞色裙下摆#压褶裙长#连衣裙裙领型#圆领 1. 连衣裙:简约风格,裙长为膝盖以上,裙领型为圆领。2. 裙下摆:压褶设计,使裙摆呈现出流畅的褶皱效果。3. 裙领型:裙领型为圆领,使穿上连衣裙后更加有型。4. 版型:采用显瘦设计,让连衣裙看起来更加苗条。5. 风格:文艺风格,让连衣裙更加有内涵和品味。6. 图案:印花设计,在连衣裙上印有独特的图案。7. 撞色:采用撞色设计,让连衣裙在色彩上更加鲜明、富有层次感。 Output[微调后]: 这是一款文艺范的连衣裙,以印花为元素,采用简约的印花,既能够突出文艺气质,又能够展现简约风。在印花的同时又有领子和裙摆的压褶设计,更加凸显文艺气质。简约而不会过于单调,搭配出街,穿着十分舒适。 ``` </details> # 三，Bloom可商用领域微调 > 身体原因本项目暂不更新了，快的话51后继续更新，估计这两个星期发展也会很快吧 ## 1.微调前的模型： | 输入 | 预测 | 目标 | | --------------------------------------------- | ------------------ | ---------------------------- | | Human: 心脏病怎么办<br>Assistant: | 咨询医生 | 数据集外的回答，没有标准答案 | | Human: 上海的历年平均气温<br>Assistant: | 上海市历年平均气温 | 数据集外的回答，没有标准答案 | | Human: 没心情看戏还被�