# ChatGLM3-6B-AppleSilicon
本项目旨在实现将ChatGLM3-6B模型部署在Mac M1/2/3系列处理器上进行推理,代码核心部分来自[ChatGLM3](https://swanhub.co/ZhipuAI/ChatGLM3)。
**配置要求:**
- MacOS,处理器为M系列
- 12GB以上内存。
🚀**迭代计划:**
- [ ] 增加基于fastapi的推理API脚本
- [ ] 增加Docker部署
## 🔥使用流程
### 1.下载ChatGLM3-6B权重
方式一:git下载(需要安装git lfs):
```bash
git lfs install
git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git
```
方式二:浏览器下载:
访问[ChatGLM3-6b](https://swanhub.co/ZhipuAI/chatglm3-6b/tree/master),将每个文件全部下载下来。
其他权重下载同理:[ChatGLM3-6b-32k](https://swanhub.co/ZhipuAI/chatglm3-6b-32k)|[ChatGLM3-6b-base](https://swanhub.co/ZhipuAI/chatglm3-6b-base)
### 2.安装依赖环境
```bash
pip install -r requirements.txt
```
### 3.启动Demo
将下载好的文件移动到`checkpoint_chatglm3_6b`文件夹中,然后:
【Gradio】
```bash
python web_demo_gradio.py
```
![Gradio_demo](./assets/Gradio_demo.png)
【StreamLit】
```bash
streamlit run web_demo_streamlit.py
```
![streamlit_demo](./assets/streamlit_demo.png)
【命令行】
```bash
python cli_demo.py
```
![cli_demo](./assets/cli_demo.png)
没有合适的资源?快使用搜索试试~ 我知道了~
大模型部署-将ChatGLM3-6B大模型部署在苹果M系列芯片上-附项目源码+流程教程-优质项目实战.zip
共11个文件
py:5个
png:3个
txt:1个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 115 浏览量
2024-10-15
21:45:18
上传
评论
收藏 509KB ZIP 举报
温馨提示
大模型部署_将ChatGLM3-6B大模型部署在苹果M系列芯片上_附项目源码+流程教程_优质项目实战
资源推荐
资源详情
资源评论
收起资源包目录
大模型部署_将ChatGLM3-6B大模型部署在苹果M系列芯片上_附项目源码+流程教程_优质项目实战.zip (11个子文件)
大模型部署_将ChatGLM3-6B大模型部署在苹果M系列芯片上_附项目源码+流程教程_优质项目实战
utils.py 2KB
assets
cli_demo.png 94KB
streamlit_demo.png 115KB
Gradio_demo.png 378KB
cli_demo.py 3KB
cli_demo_bad_word_ids.py 3KB
web_demo_gradio.py 4KB
requirements.txt 182B
web_demo_streamlit.py 3KB
checkpoint_chatglm3_6b
.gitignore 13B
README.md 1KB
共 11 条
- 1
资源评论
__AtYou__
- 粉丝: 3344
- 资源: 2099
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功