支持OpenAi所有可用的接口，包括但不限于流式输出和Token计算等.zip

   [](https://github.com/lzhpo/chatgpt-spring-boot-starter/actions/workflows/style-check.yml) ## 概览 1. 支持设置多个 API Key，并且支持对其设置权重以及是否启用，支持自动禁用失效的 API Key 以及自动轮转 2. 支持设置请求代理 3. 支持自定义请求 API（如果对 OpenAi 的 API 做了中转/代理） 4. 支持 OpenAi 所有可以使用 API Key 访问的 API 5. 支持流式响应，即所谓的"打字机"模式 6. 请求参数自动校验 7. 支持 token 计算 8. 支持 function calling ## 支持的功能 ✅ 模型查询（Model）<br> ✅ 流式、非流式对话聊天（Stream Chat/completion）<br> ✅ 根据提示生成文本（Edit）<br> ✅ 自然语言转换为向量表示<br> ✅ 音频、视频语音转文本（Create transcription）<br> ✅ 文本翻译（Create translation）<br> ✅ 文件的查询、上传、删除（File - List/Upload/Delete/Retrieve）<br> ✅ 预训练模型的微调、查询、放弃、过程(事件)（Fine-tunes - Create/List/Retrieve/Cancel/Events）<br> ✅ 内容审核（Moderation）<br> ✅ 用户余额、使用量查询（Billing/Usage）<br> ✅ 用户信息查询（User）<br> ✅ 根据提示创建、编辑图像、根据图像生成多版本图像（Image - Create/Create edit/Create variation） ## 项目地址 - Github: https://github.com/lzhpo/chatgpt-spring-boot-starter - Gitee: https://gitee.com/lzhpo/chatgpt-spring-boot-starter ## 导入依赖 ```xml <dependency> <groupId>com.lzhpo</groupId> <artifactId>chatgpt-spring-boot-starter</artifactId> <version>${version}</version> </dependency> ``` ## 配置示例 ### 1. 支持配置多个 API Key（权重、是否启用） > 可以对当前 api key 设置权重，以及是否需要启用此 api key，提供了两种方式配置。 #### 1.1 方式1-常规yaml配置方式 ```yaml openai: keys: - key: "sk-xxx1" weight: 1.0 enabled: true - key: "sk-xxx2" weight: 2.0 enabled: false - key: "sk-xxx3" weight: 3.0 enabled: false ``` _支持自动禁用失效的 API Key 以及自动轮转，参考：`InvalidedKeyEvent`、`NoAvailableKeyEvent`、`OpenAiEventListener`_ #### 1.2 方式2-自定义获取 API Key 逻辑 如果你的 API Key 是存在数据库或者其它地方的，那么可以选择使用这种方式配置。 实现`OpenAiKeyProvider`接口即可，例如： ```java @Component public class XxxOpenAiKeyProvider implements OpenAiKeyProvider { @Override public List<OpenAiKey> get() { List<OpenAiKey> openAiKeys = new ArrayList<>(); openAiKeys.add(OpenAiKey.builder().key("sk-xxx1").weight(1.0).enabled(true).build()); openAiKeys.add(OpenAiKey.builder().key("sk-xxx2").weight(2.0).enabled(false).build()); openAiKeys.add(OpenAiKey.builder().key("sk-xxx2").weight(3.0).enabled(true).build()); return openAiKeys; } } ``` **注意：每次请求都会调用此方法，有需要的话可以在此加一个缓存。** ### 2. 支持配置代理 ```yaml openai: proxy: host: "127.0.0.1" port: 7890 type: http header-name: "Proxy-Authorization" username: admin password: 123456 ``` ### 3. 支持配置超时时间 ```yaml openai: connect-timeout: 1m read-timeout: 1m write-timeout: 1m ``` ### 4. 支持自定义请求API > 如果没有配置代理，也没有定制完整请求地址的需求，那么无需配置`openai.domain`以及`openai.urls`，会自动使用默认的。 #### 4.1 方式1 - 只配置了代理 如果只是配置了国内中转代理，那么只需要配置`openai.domain`为代理地址即可，默认值为https://api.openai.com ```yaml openai: domain: "https://api.openai.com" ``` #### 4.2 方式2 - 定制完整的请求地址 如果有定制完整请求地址的需求，可以按照如下配置，优先级比`openai.domain`更高，但需要的是**完整的请求地址**。 ```yaml openai: urls: moderations: "https://api.openai.com/v1/moderations" completions: "https://api.openai.com/v1/completions" edits: "https://api.openai.com/v1/edits" chat-completions: "https://api.openai.com/v1/chat/completions" list-models: "https://api.openai.com/v1/models" retrieve-model: "https://api.openai.com/v1/models/{model}" embeddings: "https://api.openai.com/v1/embeddings" list-files: "https://api.openai.com/v1/files" upload-file: "https://api.openai.com/v1/files" delete-file: "https://api.openai.com/v1/files/{file_id}" retrieve-file: "https://api.openai.com/v1/files/{file_id}" retrieve-file-content: "https://api.openai.com/v1/files/{file_id}/content" create_fine_tune: "https://api.openai.com/v1/fine-tunes" list_fine_tune: "https://api.openai.com/v1/fine-tunes" retrieve_fine_tune: "https://api.openai.com/v1/fine-tunes/{fine_tune_id}" cancel_fine_tune: "https://api.openai.com/v1/fine-tunes/{fine_tune_id}/cancel" list_fine_tune_events: "https://api.openai.com/v1/fine-tunes/{fine_tune_id}/events" delete_fine_tune_events: "https://api.openai.com/v1/models/{model}" create-transcription: "https://api.openai.com/v1/audio/transcriptions" create-translation: "https://api.openai.com/v1/audio/translations" create_image: "https://api.openai.com/v1/images/generations" create_image_edit: "https://api.openai.com/v1/images/edits" create_image_variation: "https://api.openai.com/v1/images/variations" billing-credit-grants: "https://api.openai.com/dashboard/billing/credit_grants" users: "https://api.openai.com/v1/organizations/{organizationId}/users" billing-subscription: "https://api.openai.com/v1/dashboard/billing/subscription" billing-usage: "https://api.openai.com/v1/dashboard/billing/usage?start_date={start_date}&end_date={end_date}" ``` ### 5. 支持token计算 示例1： ```java Long tokens = TokenUtils.tokens(model, content); ``` 示例2：`CompletionRequest` ```java CompletionRequest request = new CompletionRequest(); // request.setXXX 略... Long tokens = TokenUtils.tokens(request.getModel(), request.getPrompt()); ``` 示例3：`ChatCompletionRequest` ```java ChatCompletionRequest request = new ChatCompletionRequest(); // request.setXXX 略... Long tokens = TokenUtils.tokens(request.getModel(), request.getMessages()); ``` OpenAi返回的token计算结果可在response返回体中获取： - `prompt_tokens`：OpenAi计算的输入消耗的token - `completion_tokens`：OpenAi计算的输出消耗的token - `total_tokens`：`prompt_tokens` + `completion_tokens` 具体可参考测试用例`OpenAiCountTokensTest`以及`TokenUtils` ### 6. 支持 function calling 关于 function calling 的介绍：https://platform.openai.com/docs/guides/gpt/function-calling 参考示例见测试目录：`com.lzhpo.chatgpt.OpenAiClientTest#functions` ### 7. 关于异常处理 1. 常规、SSE以及WebSocket请求失败均会抛出`OpenAiException`异常，可自定义全局异常，取出OpenAi的响应结果转换为`OpenAiError`(如果转换结果`OpenAiError`不为空)，继而自行处理。 2. 自定义流式处理的`EventSourceListener`，推荐继承`AbstractEventSourceListener`，如果没有特殊需求，直接重写`onEvent`方法即可，如果重写了`onFailure`方法，抛出何种异常取决于重写的`onFailure`方法。 3. 提供了失效的Api-Key事件、当前无可用的Api-Key事件，可自行监听处理，例如： ```java @Slf4j @Component public class OpenAiEventListener { @EventListener public void processInvalidedKey(InvalidedKeyEvent event) { String invalid