About Firefly(流萤): 中文对话式大语言模型(全量微调+QLoRA)，支持微调Llma2、Llama、Qwen、B

# Firefly(流萤): 中文对话式大语言模型 <div align="left">  [](./pics/wechat-group.jpeg) [](https://huggingface.co/YeungNLP) [//]: # ([![Generic badge]&#40;https://img.shields.io/badge/微信-Firefly-brightgreen?logo=wechat&#41;]&#40;./pics/wechat.jpeg&#41;) </div> <img src="pics/firefly_logo.png" width="250"> 欢迎加入Firefly大模型技术交流群，关注我们的公众号，点击加群按钮即可。 <img src="pics/gongzhonghao.png" width="300"> ## News - 🔥 支持微调[XVERSE-13B](https://huggingface.co/xverse/XVERSE-13B)。 - 🔥 开源Firefly项目多轮对话微调的[firefly-chatglm2-6b](https://huggingface.co/YeungNLP/firefly-chatglm2-6b)。 - 🔥 支持微调通义千问Qwen-7B，该模型在各个中英文榜单，表现非常优异。 - 🔥 支持多轮对话微调ChatGLM2，**比官方的训练方法更加充分高效**（近期会进行源码分析）。当前微调了2500步的效果：[Firefly-ChatGLM2-6B生成样例](https://docs.qq.com/sheet/DU0NCbFp6UFpWb3pE?tab=d8ashk) - 🔥 开源[firefly-llama2-13b](https://huggingface.co/YeungNLP/firefly-llama2-13b)，在[Open LLM排行榜](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上以62分，同量级模型**排名第三**，比榜首略低0.5分。 - 🔥 开源[firefly-baichuan-13b](https://huggingface.co/YeungNLP/firefly-baichuan-13b)，使用一百万多轮对话数据，提升baichuan-13b的多轮对话能力。 [Firefly-Baichuan-13B生成样例](https://docs.qq.com/sheet/DU0lXUEZISVVwc3FG?tab=c5vlid) - 🔥 开源[firefly-llama-13b](https://huggingface.co/YeungNLP/firefly-llama-13b)，在[Hugging Face的Open LLM排行榜](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上复刻Vicuna-13B，比Vicuna-13b-1.1略高0.2分，比llams-2-13b-chat略低0.5分。 - 🔥 支持训练LLaMA-2、ChatGLM2、Baichuan、通义千问Qwen-7B、书生·浦语InternLM、LLaMA、Ziya、Bloom等开源模型。 - 🔥 发布Firefly项目教程：[微调百川Baichuan-13B保姆式教程，手把手教你训练百亿大模型](https://mp.weixin.qq.com/s/ZBY6kbogHjbCQvZBzNEqag) - 🔥 发布项目首个百亿参数规模的模型：[firefly-ziya-13b](https://huggingface.co/YeungNLP/firefly-ziya-13b) ，该模型使用百万指令数据进行微调。 - 发布经过QLoRA微调的百川baichuan-7b模型。 - 发布经过QLoRA微调的bloom-7b1模型。 ## 文章链接 - [通义千问Qwen-7B效果如何？Firefly微调实践，效果出色](https://mp.weixin.qq.com/s/5OAx83j6Op299XAfa496ww) - [源码解析ChatGLM2多轮对话训练方法的不足，以及改进方法](https://mp.weixin.qq.com/s/nhogoWnzl3nrs_77r38_UA) - [Firefly增强Baichuan-13B的多轮对话能力](https://mp.weixin.qq.com/s/djO8Tg3emmy6wzw_rTUlcw) - [🤗Open LLM排行榜，firefly-llama2-13b在所有13B模型中排名第三，比榜首略低0.5分](https://mp.weixin.qq.com/s/w1V3QGvsRTQsQqAKp2z6Kg) - [百万数据增强Baichuan-13B的多轮对话能力](https://mp.weixin.qq.com/s/djO8Tg3emmy6wzw_rTUlcw) - [Firefly单卡复刻Vicuna-13B，Open LLM榜单🤗略高0.2分](https://mp.weixin.qq.com/s/QG2YMo_QxaxS_Rr2yJrIeA) - [微调百川Baichuan-13B保姆式教程，手把手教你训练百亿大模型](https://mp.weixin.qq.com/s/ZBY6kbogHjbCQvZBzNEqag) - [Firefly-Ziya-13B开源，QLoRA+百万数据，单卡可训百亿大模型](https://mp.weixin.qq.com/s/vgNK6D-_0j4Chk2H1Ev-Ig) - [Firefly｜百川baichuan-7B实测，QLoRA+百万指令数据微调](https://mp.weixin.qq.com/s/_eTkDGG5DmxyWeiQ6DIxBw) - [Firefly | QLoRA+百万数据，多卡高效微调bloom-7b1模型](https://mp.weixin.qq.com/s/lA4YUJ9XGpKlUUUjz0Le-g) - [QLoRA文章解读 & 单卡高效微调bloom-7b1](https://mp.weixin.qq.com/s/DED7yeiE0DibsVzTmMeDOw) - [Firefly(流萤): 中文对话式大语言模型](https://mp.weixin.qq.com/s/TX7wj8IzD_EaMTvk0bjRtA) - [LLMPruner：大语言模型裁剪工具](https://mp.weixin.qq.com/s/leVtrwZc1zLput51Nr99lw) ## 项目简介 **Firefly(流萤)** 是一个开源的中文大语言模型项目，正如我们的项目名称一样，希望本项目能够像流萤一般发出淡淡微光，为中文大语言模型社区尽绵薄之力，促进中文大语言模型社区的发展。 **流萤**（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤，带有悲悯意味，但萤火虽小，也能凭借其淡淡荧光，照亮夜空。本项目的名称取自杜牧的《秋夕》：**银烛秋光冷画屏，轻罗小扇扑流萤**。 ```text 《咏萤火》 唐.李白 雨打灯难灭， 风吹色更明。 若飞天上去， 定作月边星。 ``` 🔔 本项目主要内容如下： - 📗 支持全量参数指令微调、QLoRA低成本高效指令微调、LoRA指令微调(后续将会提供支持)。 - 📗 支持绝大部分主流的开源大模型，如百川baichuan、Ziya、Bloom、LLaMA等。 - 📗 支持lora与base model进行权重合并，推理更便捷。 - 📗️ 模型裁剪：通过[LLMPruner：大语言模型裁剪工具](https://github.com/yangjianxin1/LLMPruner) ，开源[裁剪后的Bloom模型权重](https://huggingface.co/YeungNLP) 。在保留预训练中文知识的前提下，有效减少模型参数量，降低训练成本，提高训练效率。 - 📗 整理并开源指令微调数据集：firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。 - 📗 开源[Firefly系列指令微调模型权重](https://huggingface.co/YeungNLP) 。 🔔 下图是firefly-bloom-7b1的多轮对话的生成效果。 <img src="pics/demo.jpeg" width="600"> [//]: # (相关资料：) [//]: # (- [【QLoRA实战】使用单卡高效微调bloom-7b1，效果惊艳]&#40;https://mp.weixin.qq.com/s/DED7yeiE0DibsVzTmMeDOw&#41;) [//]: # (- [中文对话式大语言模型Firefly-2b6开源，使用210万训练数据]&#40;https://mp.weixin.qq.com/s/FeMyvQ4EHmseY3H7gY03hw&#41;) [//]: # (- [Firefly&#40;流萤&#41;: 中文对话式大语言模型]&#40;https://mp.weixin.qq.com/s/TX7wj8IzD_EaMTvk0bjRtA&#41;) [//]: # (- [LLMPruner：大语言模型裁剪工具]&#40;https://mp.weixin.qq.com/s/leVtrwZc1zLput51Nr99lw&#41;) ## 安装环境 在requirements.txt下固定了几个主要的python包的版本，执行如下脚本即可： ```bash pip install requirements.txt ``` 若还是报错，我们也把我们的conda环境导出了，在environments.yml中。执行如下脚本，安装conda环境： ```bash conda env create -f environment.yml ``` ## 模型下载 🔔 使用本项目的训练代码，以及上述训练数据，我们训练并开源了以下模型。 | 模型 | 基座模型 | 训练数据 | Batch Size | Max Length | LR | Train Step | |--------------------------------------------------------------------------------|-------|----------------------|------------|------------|------|------------| | [firefly-bloom-1b4](https://huggingface.co/YeungNLP/firefly-bloom-1b4) | YeungNLP/bloom-1b4-zh | 160万 | 16 | 512 | 3e-5 | 90k | | [firefly-bloom-2b6](https://huggingface.co/YeungNLP/firefly-bloom-2b6) | YeungNLP/bloom-2b6-zh | 210万 | 8 | 512 | 3e-5 | 260k | | [firefly-bloom-2b6-v2](https://huggingface.co/YeungNLP/firefly-bloom-2b6-v2) ⭐ | YeungNLP/bloom-2b6-zh | 376万 | 60 | 512 | 2e-5 | 62k | | [firefly-bloom-7b1](https://huggingface.co/YeungNLP/firefly-bloom-7b1) ⭐ | bigscience/bloom-7b1 | 100万<br>（moss+ultrachat） | 64 | 1024 | 2e-4 | 16k | | [firefly-baichuan-7b](