Panda项目是于2023年5月启动的开源海外中文大语言模型项目

<h1 align="center"> Panda中文开源大语言模型 </h1> <p align="center" width="100%"> <img src="panda_logo.PNG" alt="Panda" style="width: 20%; display: block; margin: auto;"></a> </p> <p align="center"> <font face="黑体" color=orange size="6"> PandaLLM系列中文开源大模型 </font> </p> <p align="center"> <font face="黑体" color=orange size="6"> PandaLLMOps开源大模型训练、推理、部署工具 </font> </p> <p align="center"> <font face="黑体" color=orange size="6"> PandaCommunity中文开源大模型开发者社区 </font> </p> <p align="center"> <a href="http://pandallm.ai/">在线体验：pandallm.ai (Working in Process)</a> </p> [](https://github.com/tatsu-lab/stanford_alpaca/blob/main/LICENSE) [](https://github.com/tatsu-lab/stanford_alpaca/blob/main/DATA_LICENSE) </br></br> ## 📄 项目介绍 欢迎来到我们的海外中文大语言模型开源项目 -- Panda！Panda项目于2023年5月启动，旨在大模型时代帮助整个社区探索大模型的整个技术栈。近期，我们对Panda项目进行了升级。目前Panda项目分为三个子项目：1. PandaLLM 2. PandaLLMOps 3. PandaCommunity。以下是每个子项目的具体介绍： 1. PandaLLM 开源大模型。Panda系列开源大模型目前基于 LLaMA1 和 LLaMA2 进行中文领域上的持续预训练，我们希望能够为中文自然语言处理领域提供具有泛用性的通用基础工具进行探索。PandaLLM 模型以及训练涉及的中文数据集将以开源形式发布，任何人都可以免费使用并参与开发。 2. PandaLLMOps 开源大模型训练、推理、部署工具。PandaLLMOps是一套集成了大模型从模型训练、推理、部署工具。我们希望可以为广大大模型开发人员、爱好者提供一套好用的工具，降低学习难度，提高大家在大模型开发、推理、部署各个环节的效率。目前支持以下场景：1. 从零开始做预训练 2. 基于现有底座做增量预训练、全参数量微调、Lora、QLora 3. 快速部署，已集成vllm、lightllm等，最大化优化推理速度 4. PandaCommunity 大模型中文社区。PandaCommunity旨在建立中文世界大模型开发者学习社区，让大家可以对大模型技术栈能够有深入的了解并且互相交流，发挥集体智慧，攻克大模型探索道路上的技术难关。同时，针对想要学习大模型技术的同学，我们也会定期推出免费技术教程、技术研讨会、论文解读等等。 我们欢迎来自全球的开发者一起参与到该项目中，共同推动自然语言处理技术的发展。 ## 🧭 内容导引 - [🐼 PandaLLM](#-pandallm) - [🔥 最新PandaLLM-LLaMA2-13B上线](#最新pandallm-llama2-13b上线) - [🍞 PandaLLM 已发布的各版本模型权重](#pandallm已发布的各版本模型权重) - [🤖 PandaLLM 训练框架](#pandallmops训练框架) - [📒 PandaLLM 开源训练语料总结](#pandallm开源训练语料总结) - [🐼 PandaIndex](#-pandaindex) - [🔥 最新 Panda-Index-Large 上线](#最新pandallm-index-large-en上线) - [🍞 Panda-Index-Large 已发布的模型权重](#pandallm已发布的各版本模型权重) - [🐼 PandaLLMOps](#-pandallmops) - [🔨 PandaLLMOps 工具介绍](#pandallmops工具介绍) - [🤠 PandaLLMOps 预训练示例](#pandallmops预训练示例) - [🤗 PandaLLMOps 全参数微调示例](#pandallmops全参数微调示例) - [😎 PandaLLMOps Lora示例](#pandallmops-lora示例) - [⏩ PandaLLMOps 流水线并行示例](#pandallmops流水线并行示例) - [🫡 PandaLLMOps 部署示例](#pandallmops部署示例) - [🚀 PandaLLMOps 中英双语Tutorial上线](#pandallmops-tutorial) - [🐼 PandaCommunity 大模型中文社区](#-pandacommunity大模型中文社区) - [🔥 社区介绍](#社区介绍) - [🌍 为什么选择PandaCommunity中文社区？](#为什么选择pandacommunity大模型中文社区) - [🎉 社区活动](#社区活动) - [🍻 加入我们！](#加入我们) - [📢 社区公告](#-社区公告) - [🔥Panda项目最新进展](#panda项目最新进展) - [📖 学习资料](#-学习资料) - [💡 原创学习资料](#原创学习资料) - [📚 LLM 相关论文](#llm相关论文) - [🎉 致谢](#-致谢) - [🤔 问题反馈](#-问题反馈) ## 🐼 PandaLLM ### 最新Code-Panda-13B-Python上线 我们基于LLaMA2-13B的底座模型在大量python数据上进行了增量预训练。本研究旨在提高Panda模型对代码的理解能力。本次预训练我们使用了大量github的python数据，该模型展现出了较为强大的python代码生成能力。后续我们会以该模型为基础不断完善Panda模型对代码数据的理解，并探究代码生成与模型推理能力之间的关系。 ### 最新PandaLLM-LLaMA2-13B上线 我们最新基于LLaMA2-13B的底座模型在中文数据进行了增量预训练。这项研究是为了进一步提升我们的自然语言处理技术，以更好地适应不断变化的语言环境和应用需求。在这次的增量预训练中，我们选择了大量丰富多样的中文数据，包括文本、对话、新闻文章和社交媒体内容，以增强模型对中文语境的理解和表达能力。该底座模型的LLaMA2-13B架构在之前的研究中已经表现出良好的性能和可扩展性，因此我们选择该模型作为基础，通过增量预训练的方式来进一步优化其效果。 通过在大规模的中文数据上进行增量预训练，我们的底座模型现在具备更深入、更全面的中文语言知识，可以更好地理解中文的语法结构、语义含义以及上下文关联。这为我们在各种中文自然语言处理任务中取得更优秀的结果打下了坚实基础。未来，我们将继续致力于推进中文自然语言处理领域的研究，进一步改进和优化底座模型，并探索更多创新的方法来处理中文语言的特点和复杂性。我们相信，随着技术的不断进步，我们的中文自然语言处理技术将在诸多领域发挥重要作用，为用户提供更智能、更便捷的语言交互体验。 ### PandaLLM已发布的各版本模型权重 可商用（基于LLaMA2和OpenLLaMA底座微调) | 模型名称 | 模型大小 | 下载链接 | | --------------- | ---------- | -------------------------------------------------------- | | Legal-Panda-13B-Chat | 13B | [https://huggingface.co/chitanda/llama2.13b.sft.legal](https://huggingface.co/chitanda/llama2.13b.wudao.sft.combine.legal.v1.0.seq2k.w16.adamw.NA100.0921.ds) | | Code-Panda-13B-Python | 13B | [https://huggingface.co/Michael0025/code-panda-13b-python](https://huggingface.co/Michael0025/code-panda-13b-python) | | Panda-LLaMA2-13B | 13B | [https://huggingface.co/qcw/llama2-panda-zh-13b](https://huggingface.co/qcw/llama2-panda-zh-13b) | | Panda-LLaMA2-13B-Chat | 13B | [https://huggingface.co/chitanda/panda-llama2-13b-chat](https://huggingface.co/chitanda/panda-llama2-13b-chat) | | Panda-OpenLLaMA-7B | 7B | [https://huggingface.co/chitanda/panda-7b-open-llama-preview-300pt](https://huggingface.co/chitanda/panda-7b-open-llama-preview-300pt) | 不可商用（基于LLaMA1底座微调) | 模型名称 | 模型大小 | 下载链接 | | --------------- | ---------- | -------------------------------------------------------- | | Panda-7B | 7B | https://huggingface.co/chitanda/llama-panda-zh-7b-delta | | Panda-Instruct-7B | 7B | https://huggingface.co/chitanda/llama-panda-zh-coig-7b-delta | | Panda-13B | 13B | https://huggingface.co/chitanda/llama-panda-zh-13b-delta | | Panda-Instruct-13B | 13B | [https://hu