### 评测方法
首先,我们所用的评测数据集是超对称团队针对金融行业的预训练模型发布的一套目前中文领域金融大模型最专业的评测数据集BBT CFLEB,包含八个标准语言任务,包括摘要生成、文本分类、关系抽取、事件抽取和其他任务,用以衡量不同的模型的多维能力,并促进金融大模型研发。数据集出处:https://bbt.ssymmetry.com/evaluation.html。
我们目前提供了baichuan-7b、baichuan-13b-base、baichuan-13b-chat、bloomz-7b、chatglm、chatglm2、fingpt-v3的评测代码,同时也可以加入针对自己数据训练出来的lora权重进行评测。下面介绍评测的几个步骤:
- 第一步:运行脚本`preprocess.py`,会在本地创建一个`data`的文件夹,把八个任务的数据集下载到本地,并且会针对每个数据集进行相应的处理,方便后续进行评测。同时还会生成一个`instruct_samples.json`文件,这里保存着每个数据集的few-shot。这里需要说明的一点是:我们将第七个数据集拆分成两个数据集,对应着两个不同的任务。
- 第二步:使用如下命令运行脚本`autoeval.py`:
python autoeval.py --model xxxx --lora_path xxxx --eval_data all --device cuda:0
目前model可以分别设置为:chatglm-6b、chatglm2-6b、baichuan-7b、baichuan-13b-base、baichuan-13b-chat、bloomz-7b、fingpt-v3。
- 第三步:最终的评测结果会自动保存成json文件。
如果需要在其他模型上进行评测,需要修改源代码。
主要分为以下两步:
- 第一步:在 `finllm.py` 代码中自定义一个模型类,该类需要继承 DISCFINLLMBase 类,并实现 generate 函数,其中 generate 函数的输入为任意**提示文本**,输出为模型的**回复**
```python
import os
from evaluator.finllm import DISCFINLLMBase
from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage
os.environ["OPENAI_API_KEY"] = ""
os.environ["OPENAI_API_BASE"] = ""
class OpenAILLM(DISCFINLLMBase):
def __init__(self):
self.model = ChatOpenAI()
def generate(self, prompt: str) -> str:
messages = [HumanMessage(content=prompt)]
response = self.model(messages).content
return response
```
- 第二步:运行脚本
```shell
python evaluate.py
```
没有合适的资源?快使用搜索试试~ 我知道了~
金融行业中文大语言模型chat-gpt.rar
共28个文件
py:7个
json:6个
png:6个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 49 浏览量
2024-03-11
17:49:21
上传
评论
收藏 33.92MB RAR 举报
温馨提示
一个金融领域的大语言模型,由面向不同金融场景的4个模组:金融咨询、金融文本分析、金融计算、金融知识检索问答构成的多专家智慧金融系统。这些模组分别在金融NLP任务、人类试题、资料分析和时事分析等四个评测中展现出明显优势,为广泛的金融领域提供强有力的支持。在不同应用场景下提供帮助,可用于实现不同的功能: 金融咨询:该模组可以在中国金融语境下,与用户展开关于金融话题的多轮对话,或是为用户解释金融专业的相关知识,是由数据集中的金融咨询指令部分训练而来。 金融文本分析:该模组可以帮助用户在金融文本上完成的信息抽取、情感分析、文本分类、文本生成等NLP任务,是由数据集中的金融任务指令部分训练而来。 金融计算:该模组可以帮助用户完成与数学计算相关的任务,除了利率、增长率等基本计算,它还支持统计分析和包括Black-Scholes期权定价模型、EDF预期违约概率模型在内的金融模型计算。这一模组是由数据集中的金融计算指令部分训练而来。 金融知识检索问答:该模组可以基于金融新闻、研报和相关政策文件为用户提供投资建议、时事分析、政策解读。它是由数据集中
资源推荐
资源详情
资源评论
收起资源包目录
金融行业中文大语言模型chat-gpt.rar (28个子文件)
data
consulting_part.json 162KB
retrieval_part.json 392KB
computing_part.json 66KB
task_part.json 205KB
README.md 336B
cli_demo.py 2KB
web_demo.py 2KB
requirements.txt 113B
eval
computing_eval.json 75KB
evaluator
utils.py 5KB
preprocess.py 10KB
evaluate.py 54KB
autoeval.py 2KB
finllm.py 8KB
README.md 2KB
README.md 492B
retriever_eval.json 243KB
images
example_task.gif 3.65MB
data_zh.png 1.06MB
lora_zh.png 281KB
example_retrieval.gif 11.12MB
example_tool.gif 3.55MB
lora_en.png 378KB
example_consult.gif 5.45MB
model_zh.png 3.73MB
model_en.png 6.48MB
data_en.png 1.92MB
README.md 11B
共 28 条
- 1
资源评论
shangjg3
- 粉丝: 1025
- 资源: 101
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功