大模型应用-大语言模型高效转发服务-优质项目实战.zip

## 使用指南 ### 快速入门 **安装** ```bash pip install openai-forward # 或安装webui版本： pip install openai-forward[webui] ``` **启动服务** ```bash aifd run # 或启动带webui的服务 aifd run --webui ``` 如果读入了根路径的`.env`的配置, 将会看到以下启动信息 ```bash ❯ aifd run ╭────── 🤗 openai-forward is ready to serve! ───────╮ │ │ │ base url https://api.openai.com │ │ route prefix / │ │ api keys False │ │ forward keys False │ │ cache_backend MEMORY │ ╰────────────────────────────────────────────────────╯ ╭──────────── ⏱️ Rate Limit configuration ───────────╮ │ │ │ backend memory │ │ strategy moving-window │ │ global rate limit 100/minute (req) │ │ /v1/chat/completions 100/2minutes (req) │ │ /v1/completions 60/minute;600/hour (req) │ │ /v1/chat/completions 60/second (token) │ │ /v1/completions 60/second (token) │ ╰────────────────────────────────────────────────────╯ INFO: Started server process [191471] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit) ``` ### 代理OpenAI模型: `aifd run`的默认选项便是代理`https://api.openai.com` 下面以搭建好的服务地址`https://api.openai-forward.com` 为例 **Python** ```diff from openai import OpenAI # pip install openai>=1.0.0 client = OpenAI( + base_url="https://api.openai-forward.com/v1", api_key="sk-******" ) ``` <details > <summary> 更多</summary> #### 在三方应用中使用 基于开源项目[ChatGPT-Next-Web](https://github.com/Yidadaa/ChatGPT-Next-Web)中接入: 替换docker启动命令中的 `BASE_URL`为自己搭建的代理服务地址 ```bash docker run -d \ -p 3000:3000 \ -e OPENAI_API_KEY="sk-******" \ -e BASE_URL="https://api.openai-forward.com" \ -e CODE="******" \ yidadaa/chatgpt-next-web ``` **Image Generation (DALL-E)** ```bash curl --location 'https://api.openai-forward.com/v1/images/generations' \ --header 'Authorization: Bearer sk-******' \ --header 'Content-Type: application/json' \ --data '{ "prompt": "A photo of a cat", "n": 1, "size": "512x512" }' ``` </details> ### 代理本地模型 - **适用场景：** 与 [LocalAI](https://github.com/go-skynet/LocalAI)， [api-for-open-llm](https://github.com/xusenlinzy/api-for-open-llm)等项目一起使用 - **如何操作：** 以LocalAI为例，如果已在 http://localhost:8080 部署了LocalAI服务，仅需在环境变量或 .env 文件中设置 `FORWARD_CONFIG=[{"base_url":"http://localhost:8080","route":"/localai","type":"openai"}]`。 然后即可通过访问 http://localhost:8000/localai 使用LocalAI。 (更多) ### 代理其它云端模型 - **场景1:** 使用通用转发,可对任意来源服务进行转发， 可获得请求速率控制与token速率控制；但通用转发不支持自定义秘钥. - **场景2：** 可通过 [LiteLLM](https://github.com/BerriAI/litellm) 可以将 众多云模型的 API 格式转换为 openai 的api格式，然后使用openai风格转发 (更多) <a> <img src="https://raw.githubusercontent.com/KenyonY/openai-forward/main/.github/images/separators/aqua.png" height=8px width="100%"> </a> ## 配置 执行 `aifd run --webui` 进入配置页面 (默认服务地址 http://localhost:8001) 你可以在项目的运行目录下创建 .env 文件来定制各项配置。参考配置可见根目录下的 [.env.example](.env.example)文件 ### 智能缓存 开启缓存后，将会对指定路由的内容进行缓存，其中转发类型分别为`openai`与`general`两者行为略有不同， 使用`general`转发时，默认会将相同的请求一律使用缓存返回， 使用`openai`转发时，在开启缓存后，可以通过OpenAI 的`extra_body`参数来控制缓存的行为，如 **Python** ```diff from openai import OpenAI client = OpenAI( + base_url="https://smart.openai-forward.com/v1", api_key="sk-******" ) completion = client.chat.completions.create( model="gpt-3.5-turbo", messages=[ {"role": "user", "content": "Hello!"} ], + extra_body={"caching": True} ) ``` **Curl** ```bash curl https://smart.openai.com/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer sk-******" \ -d '{ "model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": "Hello!"}], "caching": true }' ``` ### 自定义秘钥 <details open> <summary>Click for more details</summary> 见.env文件 **用例:** ```diff import openai + openai.api_base = "https://api.openai-forward.com/v1" - openai.api_key = "sk-******" + openai.api_key = "fk-******" ``` </details> ### 多目标服务转发 支持转发不同地址的服务至同一端口的不同路由下 用例见 `.env.example` ### 对话日志 <details open> <summary>Click for more details</summary> 保存路径在当前目录下的`Log/openai/chat/chat.log`路径中。 记录格式为 ```text {'messages': [{'role': 'user', 'content': 'hi'}], 'model': 'gpt-3.5-turbo', 'stream': True, 'max_tokens': None, 'n': 1, 'temperature': 1, 'top_p': 1, 'logit_bias': None, 'frequency_penalty': 0, 'presence_penalty': 0, 'stop': None, 'user': None, 'ip': '127.0.0.1', 'uid': '2155fe1580e6aed626aa1ad74c1ce54e', 'datetime': '2023-10-17 15:27:12'} {'assistant': 'Hello! How can I assist you today?', 'is_tool_calls': False, 'uid': '2155fe1580e6aed626aa1ad74c1ce54e'} ``` 转换为`json`格式： ```bash aifd convert ``` 得到`chat_openai.json`： ```json [ { "datetime": "2023-10-17 15:27:12", "ip": "127.0.0.1", "model": "gpt-3.5-turbo", "temperature": 1, "messages": [ { "user": "hi" } ], "tools": null, "is_tool_calls": false, "assistant": "Hello! How can I assist you today?" } ] ```