Windows10下ChatGLM36B原始环境搭建详细步骤，保姆级别教程

### Windows10下ChatGLM3-6B原始环境搭建详细步骤 #### 一、ChatGLM3-6B 模型简介 ChatGLM3-6B 是由智谱AI及清华大学KEG实验室共同研发的中英双语对话模型。此模型在2023年6月25日发布，相较于前代模型，ChatGLM3-6B在多个方面进行了显著改进： 1. **性能提升**：通过采用GLM的混合目标函数以及经过大规模预训练（1.4T中英文标识符），ChatGLM3-6B在多个基准测试数据集上展现出更优的表现，包括MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等。 2. **上下文长度扩展**：上下文长度由原来的2K增加至32K，这意味着模型可以处理更长的对话历史记录，从而提高对话的连贯性和自然性。 3. **推理效率增强**：推理速度较之前版本提高了42%，在INT4量化下，6GB显存即可支持8K对话长度，这比前代模型所需的1K对话长度有了显著提升。 4. **更加开放的许可协议**：对于学术研究而言，ChatGLM3-6B的权重完全开放。此外，在完成企业登记并获得授权后，该模型还允许进行免费的商业使用。 5. **技术创新**：采用了Multi-Query Attention机制，不仅提高了生成速度，而且降低了KV Cache的显存占用。通过使用Causal Mask进行对话训练，可以在连续对话中复用先前轮次的KV Cache，进一步优化显存使用。 #### 二、本地安装硬件与软件要求 为了顺利部署ChatGLM3-6B模型，需要满足以下硬件和软件条件： 1. **操作系统**：Windows 10及以上版本。 2. **Python版本**：3.8及以上版本。 3. **GPU显卡**： - 推荐使用NVIDIA显卡，特别是20系列或更高版本。 - 显存要求至少6GB以上。 4. **CUDA版本**：推荐使用CUDA 12.1.0版本（向下兼容原则）。安装CUDA需要访问NVIDIA官方网站下载相应版本的CUDA工具包，具体步骤如下： - 访问NVIDIA官方CUDA工具包归档页面：https://developer.nvidia.com/cuda-toolkit-archive - 下载CUDA 12.1.0版本安装包。 - 开始安装时，选择自定义安装选项。 - 在自定义安装界面中，根据需要勾选必要的组件。如果是首次安装，建议全选；若非首次安装，则只需选择必要的组件，以避免不必要的错误。 5. **环境变量设置**：确保正确设置系统环境变量，包括`NVCUDASAMPLES_ROOT`和`NVCUDASAMPLES11_0_ROOT`等，确保它们指向正确的CUDA安装路径。 #### 三、安装步骤详解 1. **安装Python**：确保已安装Python 3.8或更高版本。可以通过命令行输入`python --version`检查Python版本。 2. **安装CUDA和cuDNN**： - 根据上述步骤下载并安装CUDA 12.1.0。 - 设置环境变量。 - 验证安装是否成功：打开命令提示符窗口，输入`nvcc --version`，如果能够显示CUDA版本信息，则表示安装成功。 3. **安装PyTorch**： - PyTorch是实现ChatGLM3-6B模型的核心库之一。安装时需要确保与CUDA版本相匹配。例如，如果使用CUDA 12.1.0，那么应选择支持该版本CUDA的PyTorch版本。 - 通常情况下，可以使用`pip install torch torchvision torchaudio`命令安装最新稳定版的PyTorch，但为了匹配CUDA版本，建议访问PyTorch官网查看详细的安装指南。 4. **安装其他依赖库**： - 根据项目需求，可能还需要安装其他依赖库，例如`transformers`等。 5. **下载ChatGLM3-6B模型**： - 从官方仓库或其他可信来源下载ChatGLM3-6B模型文件。 - 解压模型文件并将其放置在合适的位置。 6. **运行测试**： - 使用Python脚本或命令行工具运行测试样例，确保模型能够正常加载并运行。 通过上述步骤，可以顺利完成ChatGLM3-6B模型在Windows 10环境下的部署。这一过程虽然较为复杂，但对于想要在个人计算机上探索和应用先进对话模型的研究者来说，是非常值得尝试的。