# GPT Tools
项目简介:本项目基于GPT完成数据标注、分类、润色等工作,原理是多线程批量处理input的数据,经过GPT处理后输出output数据。
## 如何使用
1. 明确输入输出文件
在config.ini中编辑input和output
```ini
[data]
input=/data/test/classify_test.csv
output=/data/output/classify_test_out.csv
```
2. 修改任务server
不同的任务有不同的处理逻辑,本项目当前支持润色和分类两大类任务,业务逻辑和prompt详见/server文件夹
执行前请选择正确的run.py中的server
```python
# 修改server源
import server.classify_server as server_pool
if __name__ == "__main__":
# 不同的任务切换不同的server即可
server = server_pool.classifyServer()
```
3. 执行run.py
```bash
python run.py
```
4. 检查结果
结果按照config.ini的output输出,运行完毕后请检查output是否正确生成
没有合适的资源?快使用搜索试试~ 我知道了~
基于GPT完成数据标注、分类、润色等工作,原理是多线程批量处理input的数据,经过GPT处理后输出output数据
共37个文件
csv:18个
py:8个
xml:3个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 18 浏览量
2024-05-11
21:07:51
上传
评论
收藏 12.95MB ZIP 举报
温馨提示
项目简介:本项目基于GPT完成数据标注、分类、润色等工作,原理是多线程批量处理input的数据,经过GPT处理后输出output数据。 GPT, 通常指的是“Generative Pre-trained Transformer”(生成式预训练转换器),是一个在自然语言处理(NLP)领域非常流行的深度学习模型架构。GPT模型由OpenAI公司开发,并在多个NLP任务上取得了显著的性能提升。 GPT模型的核心是一个多层Transformer解码器结构,它通过在海量的文本数据上进行预训练来学习语言的规律。这种预训练方式使得GPT模型能够捕捉到丰富的上下文信息,并生成流畅、自然的文本。 GPT模型的训练过程可以分为两个阶段: 预训练阶段:在这个阶段,模型会接触到大量的文本数据,并通过无监督学习的方式学习语言的结构和规律。具体来说,模型会尝试预测文本序列中的下一个词或短语,从而学习到语言的语法、语义和上下文信息。 微调阶段(也称为下游任务训练):在预训练完成后,模型会被应用到具体的NLP任务中,如文本分类、机器翻译、问答系统等。在这个阶段,模型会使用有标签的数据进行微调,以适应特定任务的需求。通过微调,模型能够学习到与任务相关的特定知识,并进一步提高在该任务上的性能。 GPT模型的优势在于其强大的生成能力和对上下文信息的捕捉能力。这使得GPT模型在自然语言生成、文本摘要、对话系统等领域具有广泛的应用前景。同时,GPT模型也面临一些挑战,如计算资源消耗大、训练时间长等问题。为了解决这些问题,研究人员不断提出新的优化方法和扩展模型架构,如GPT-2、GPT-3等,以进一步提高模型的性能和效率。
资源推荐
资源详情
资源评论
收起资源包目录
项目简介:本项目基于GPT完成数据标注、分类、润色等工作,原理是多线程批量处理input的数据,经过GPT处理后输出output数据。.zip (37个子文件)
content
data
input
secfields_3237_0801.csv 2.54MB
output
XDR-FAQ-20230717-polish.csv 272KB
history-1500-out.csv 3.75MB
the-out.csv 54KB
qianliu_test_data_102-out.csv 553KB
event_analyze_test_out.csv 5KB
secfields_3237_0801_output.csv 6KB
classify_test_out.csv 857B
XXDR-Alert-polish.csv 2.28MB
old
params_result.csv 92.05MB
history-1500.csv 1.58MB
the.csv 572KB
XDR-FAQ-20230717.csv 140KB
qianliu_test_data_102.csv 57KB
params_origin.csv 57.04MB
the.xlsx 104KB
XDR-Alert.csv 1.12MB
test
security_encyclopedia_polish_test2.jsonl 9.87MB
classify_test.csv 80KB
event_analyze_test.csv 278KB
security_encyclopedia_polish_test1.jsonl 2.9MB
config.ini 0B
api
gpt.py 2KB
key.py 786B
utils
file.py 556B
config.py 422B
.idea
.name 9B
misc.xml 186B
inspectionProfiles
profiles_settings.xml 174B
gpt-tools.iml 284B
modules.xml 272B
.gitignore 176B
run.py 3KB
server
classify_server.py 7KB
polish_server.py 6KB
pronoun_server.py 4KB
README.md 918B
共 37 条
- 1
资源评论
生瓜蛋子
- 粉丝: 3823
- 资源: 5216
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功