大语言模型的微调和推理baichuan7B, chatglm2-6B, Qwen-7B-chat源码.zip

国内中文开源大语言模型的微调和推理——baichuan7B, chatglm2-6B, Qwen-7B-chat 一、baichuan7B 1. 微调：基于nation-gpt-ie.json文件进行微调，微调代码见baichuan_sft.py文件 2. 推断：微调代码见baichuan_infer.py文件,给出一个示例如下 ```markdown if __name__ == '__main__': # 测试数据 testdata = { 'instruction': '提取实体和关系', 'input': '道教约在南诏时期传入云南，主要分布在昆明、大理、保山、临沧、昭通、丽江等\n地，为汉、白、彝、纳西、瑶等民族部分群众信仰；1950年前，全省有道观40余座，\n' } # 将数据转换为输入的形式 instruction = test_dataset['instruction'] input = test_dataset['input'] test_dataset = {'system' : input, 'user' : instruction} # 推断 baichuan7b_f_infer(baichuan7b_f, test_dataset[0]) ``` 3. 接口 4.1 激活接口代码见baichuan7b-entrypoint.sh文件 4.2 调用示例见baichuan7b-f-test.py文件，其中接口地址为http://202.121.140.55:7780/predict 给出一个示例如下 ```markdown CUDA_VISIBLE_DEVICES=2,3 gunicorn -w 1 -b 0.0.0.0:7780 baichuan7b-f-api:app --timeout 300 import requests testdata = { 'instruction': '提取实体和关系', 'input': '道教约在南诏时期传入云南，主要分布在昆明、大理、保山、临沧、昭通、丽江等\n地，为汉、白、彝、纳西、瑶等民族部分群众信仰；1950年前，全省有道观40余座，\n' } # 调用baichaun-7B API print(requests.post('http://202.121.140.55:7780/predict', json=testdata, timeout=300).json()) ``` 二、chatglm2-6B 1. 微调：基于nation-gpt-ie.json文件进行微调，微调代码见chatglm2_sft.py文件 2. 推断：微调代码见chatglm2_infer.py文件,给出一个示例如下 ```markdown if __name__ == '__main__': # 测试数据 testdata = { 'instruction': '提取实体和关系', 'input': '道教约在南诏时期传入云南，主要分布在昆明、大理、保山、临沧、昭通、丽江等\n地，为汉、白、彝、纳西、瑶等民族部分群众信仰；1950年前，全省有道观40余座，\n' } # 将数据转换为输入的形式 instruction = test_dataset['instruction'] input = test_dataset['input'] test_dataset = {'system' : input, 'user' : instruction} # 推断 chatglm2_f_infer(chatglm2_f, test_dataset[0]) ``` 3. 接口 4.1 激活接口代码见chatglm2-entrypoint.sh文件 4.2 调用示例见chatgm2-f-test.py文件，其中接口地址为http://202.121.140.55:7790/predict 给出一个示例如下 ```markdown CUDA_VISIBLE_DEVICES=2,3 gunicorn -w 1 -b 0.0.0.0:7790 baichuan7b-f-api:app --timeout 300 import requests testdata = { 'instruction': '提取实体和关系', 'input': '道教约在南诏时期传入云南，主要分布在昆明、大理、保山、临沧、昭通、丽江等\n地，为汉、白、彝、纳西、瑶等民族部分群众信仰；1950年前，全省有道观40余座，\n' } # 调用chatglm2-6B API print(requests.post('http://202.121.140.55:7790/predict', json=testdata, timeout=300).json()) ``` 三、Qwen-7B-chat 1. 微调：基于nation-gpt-ie.json文件进行微调，微调代码见qwen_sft.py文件 2. 推断：微调代码见qwen_infer.py文件,给出一个示例如下 ```markdown if __name__ == '__main__': # 加载模型 args, remaining_argv = parse_args(qwen_7b_chat_f) if len(remaining_argv) > 0: if args.ignore_args_error: logger.warning(f'remaining_argv: {remaining_argv}') else: raise ValueError(f'remaining_argv: {remaining_argv}') # 测试数据 testdata = { 'instruction': '提取实体和关系', 'input': '道教约在南诏时期传入云南，主要分布在昆明、大理、保山、临沧、昭通、丽江等\n地，为汉、白、彝、纳西、瑶等民族部分群众信仰；1950年前，全省有道观40余座，\n' } # 将数据转换为输入的形式 instruction = test_dataset['instruction'] input = test_dataset['input'] test_dataset = {'query': f'{instruction}\n{input}'} # 推断 qwen_7b_chat_f_infer(args, test_dataset) ``` 3. 接口 4.1 激活接口代码见qwen-f-entrypoint.sh文件 4.2 调用示例见qwen-f-test.py文件，其中接口地址为http://202.121.140.55:7800/predict 给出一个示例如下 ```markdown CUDA_VISIBLE_DEVICES=2,3 gunicorn -w 1 -b 0.0.0.0:7800 qwen-f-api:app --timeout 300 import requests testdata = { 'instruction': '提取实体和关系', 'input': '道教约在南诏时期传入云南，主要分布在昆明、大理、保山、临沧、昭通、丽江等\n地，为汉、白、彝、纳西、瑶等民族部分群众信仰；1950年前，全省有道观40余座，\n' } # 调用Qwen-7B-chat API print(requests.post('http://202.121.140.55:7800/predict', json=testdata, timeout=300).json()) ```