开发和启用 llama2 api
1. 解压:text-generation-webui-main.zip
2. 根据您的操作系统运行 start_linux.sh、start_windows.bat、start_macos.sh 或
start_wsl.bat 脚本
3. 当询问时选择您的 GPU 供应商。
4. 安装完成后,关闭安装窗口。
5. 下载模型:TheBloke/Llama-2-7B-Chat-GGML
https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML
6. 运行下面命令启动 API:
python server.py --api --api-blocking-port 5000 --api-streaming-port 8815 --model
TheBloke/Llama-2-7B-Chat-GGML --wbits 4 --chat .
7. 你可以打开 api-examples 目录,运行测试你的 api