Llama中文社区，Llama3在线体验和微调模型已开放，

<p align="left"> <a href="README_EN.md">English</a> ｜ 中文 </p> <h1 align="center"> Llama中文社区 </h1> <p align="center" width="100%"> <img src="assets/llama.jpg" alt="Llama" style="width: 20%; display: block; margin: auto;"></a> </p> <p align="center"> <font face="黑体" color=orange size="6"> Llama3体验和微调已开放，最好的中文Llama大模型 </font> </p> <p align="center"> 🤗 <a href="https://huggingface.co/FlagAlpha" target="_blank">Hugging Face</a> • 🤖 <a href="https://www.modelscope.cn/organization/FlagAlpha/" target="_blank">ModelScope</a> • ✡️ <a href="https://wisemodel.cn/models/FlagAlpha/Atom-7B-Chat" target="_blank">WiseModel</a> </p> <p align="center"> <a href="https://llama.family">Llama3.1 在线体验（包含Llama2）：https://llama.family</a> </p> <p align="center"> <a href="https://huggingface.co/FlagAlpha/Atom-7B-Chat">基于Llama的开源中文预训练大模型Atom</a> </p> </br></br> ## 🗂️ 目录 - [📌 Llama中文社区](#-llama中文社区) * [🔥 社区介绍：Llama中文社区](#-社区介绍llama中文社区) * [📢 最新动态](#-最新动态) * [🤗 模型](#-模型) + [🤗 中文预训练模型Atom-7B](#-中文预训练模型atom) + [🤗 Llama3官方模型](#llama3官方模型) + [🤗 Llama3中文微调模型](#llama3中文微调模型) + [🤗 Llama2官方模型](#llama2官方模型) + [🤗 Llama2中文微调模型](#llama2中文微调模型) * [🌟 社区资源](#社区资源) - [📌 如何使用Llama模型?](#-如何使用llama模型) - [快速上手-使用Anaconda](#快速上手-使用anaconda) - [快速上手-使用Docker](#快速上手-使用docker) - [快速上手-使用llama.cpp](#快速上手-使用llamacpp) - [快速上手-使用gradio](#快速上手-使用gradio) - [快速上手-构建API服务](#快速上手-构建api服务) - [快速上手-使用ollama运行](#快速上手-使用ollama运行) + [🤖 模型预训练](#-模型预训练) + [💡 模型微调](#-模型微调) - [Step1: 环境准备](#step1-环境准备) - [Step2: 数据准备](#step2-数据准备) - [Step3: 微调脚本](#step3-微调脚本) * [LoRA微调](#lora微调) * [全量参数微调](#全量参数微调) - [Step4: 加载微调模型](#step4-加载微调模型) * [LoRA微调](#lora微调-1) * [全量参数微调](#全量参数微调-1) + [🍄 模型量化](#-模型量化) + [🚀 部署加速](#-部署加速) - [TensorRT-LLM](#tensorrt-llm) - [vLLM](#vllm) - [JittorLLMs](#jittorllms) - [lmdeploy](#lmdeploy) + [💪 外延能力](#-外延能力) - [LangChain](#langchain) * [🥇 模型评测](#-模型评测) + [Llama2和Llama3对比评测](#llama2和llama3对比评测) + [Llama3模型评测](#llama3模型评测) + [Llama2模型评测](#llama2模型评测) * [📖 学习中心](#-学习中心) + [Llama3](#llama3) + [Llama2](#llama2) - [Meta官方对于Llama2的介绍](#meta官方对于llama2的介绍) + [Llama相关论文](#llama相关论文) - [📌 其它](#-其它) * [🎉 致谢](#-致谢) * [🤔 问题反馈](#-问题反馈) ## 📌 Llama中文社区 ### 🔥 社区介绍：llama中文社区 欢迎来到Llama中文社区！我们是一个专注于Llama模型在中文方面的优化和上层建设的高级技术社区。 **已经基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级【Done】**。**正在对Llama3模型进行中文能力的持续迭代升级【Doing】** 我们热忱欢迎对大模型LLM充满热情的开发者和研究者加入我们的行列。 <details> #### 为什么选择Llama中文社区？ 🚀 **高级工程师团队支持**：社区有一批专注为大家服务的NLP高级工程师，我们有着强大的技术支持和丰富的经验，为您提供专业的指导和帮助。 🎯 **中文优化**：我们致力于在Llama模型的中文处理方面进行优化，探索适用于中文的最佳实践，以提升其性能和适应性【支持Llama2、Llama3】。 💡 **创新交流**：我们拥有一支富有创造力和经验的社区成员团队，定期组织线上活动、技术研讨和经验分享，促进成员间的创新交流。 🌐 **全球联结**：我们欢迎来自世界各地的开发者加入社区，构建一个开放、多元化的学习和交流平台。 🤝 **开放共享**：我们鼓励社区成员开源分享代码和模型，推动合作共赢，共同促进中文NLP技术的发展。 #### 社区活动 🗓️ **线上讲座**：邀请行业内专家进行线上讲座，分享Llama在中文NLP领域的最新技术和应用，探讨前沿研究成果。 💻 **项目展示**：成员可展示自己在Llama中文优化方面的项目成果，获得反馈和建议，促进项目协作。 📚 **学习资源**：社区维护丰富的学习资料库，包括教程、文档和论文解读，为成员提供全面的学习支持。 📝 **论文解读**：社区成员共同解读与Llama相关的最新研究论文，深入理解前沿算法和方法。 🎉 **主题活动**：定期举办各类主题活动，包括挑战赛、黑客马拉松和技术沙龙，让社区成员在轻松愉快的氛围中交流和学习。 🌟 **奖励计划**：我们设立奖励计划，对社区中积极参与、贡献优秀的成员给予荣誉和奖励，激励更多优秀人才的加入。 📈 **技术咨询**：我们提供技术咨询服务，解答您在Llama开发和优化过程中遇到的问题，助您快速攻克难关。 🚀 **项目合作**：鼓励成员间的项目合作，共同探索Llama在实际应用中的潜力，打造创新解决方案。 #### 立即加入我们！ 📚 **愿景**：无论您是对Llama已有研究和应用经验的专业开发者，还是对Llama中文优化感兴趣并希望深入探索的新手，我们都热切期待您的加入。在Llama中文社区，您将有机会与行业内顶尖人才共同交流，携手推动中文NLP技术的进步，开创更加美好的技术未来！ 🔗 **温馨提示**：本社区为专业技术交流平台，我们热切期望志同道合的开发者和研究者加入。请遵守社区准则，共同维护积极向上的学习氛围。感谢您的理解和支持！ </details> ### 📢 最新动态 【最新】2024年07月24日：开源最强[Llama 3.1](https://llama.meta.com/docs/overview)模型发布，包含8B、70B和405B！ 【最新】2024年07月16日：[社区论坛](https://forum.llamafamily.cn/)上线，有大模型问题，就找Llama中文社区！ 【最新】2024年05月15日：支持ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat，[详细使用方法](https://github.com/LlamaFamily/Llama-Chinese?tab=readme-ov-file#%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B-%E4%BD%BF%E7%94%A8ollama%E8%BF%90%E8%A1%8C)。 【最新】2024年04月23日：社区增加了llama3 8B中文微调模型[Llama3-Chinese-8B-Instruct](https://github.com/LlamaFamily/Llama-Chinese?tab=readme-ov-file#llama3%E4%B8%AD%E6%96%87%E5%BE%AE%E8%B0%83%E6%A8%A1%E5%9E%8B)以及对应的[免费API调用](https://llama.family/docs/chat-completion-v1)。 【最新】2024年04月19日：社区增加了llama3 8B、llama3 70B[在线体验链接](https://llama.family/chat/#/)。 【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：[角色role](https://llama.family/tools/#/agent)。 【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接[modelscope](https://modelscope.cn/models/FlagAlpha/Atom-7B-Chat)、[Huggingface](https://huggingface.co/FlagAlpha/Atom-7B-Chat)。 【最新】2024年04月01日：社区上线了Llama中文[应用平台](https://llama.family/store)；同时如果你有优秀的