本指南主要介绍如何在 docker 下部署 LLAMA 2
1. Clone repo:
git clone
https://github.com/fbaldassarri/llama-cpp-containe
r
2. 进入文件路径
cd llama-cpp-container
mkdir models
2. 下 载 模 型 文 件 . llama-2–
13b-chat.ggmlv3.q2_K.bin
from https://huggingface.co/TheBloke/Lla
ma-2-13B-chat-GGML/tree/main and save
it in models
3.
