# KGQA
基于知识图谱的智慧城市主题智能问答系统，包含意图识别与类知识库送入LLM方法
py2neo疑似寄了，封装了一套自己用到的的Neo4j操作
实体识别直接AC自动机暴力，听说有库也懒得调了，直接和gpt一起手搓几十行解决，最后还要去掉名称有包含关系的实体，也是二重循环暴力了。也可以用结巴分词后再一一匹配，隔壁wenda的接口用的这个方法
意图识别调用torchtext自带的xmlroberta进行训练，本质文本分类，训练集为自编的智慧城市下的若干公共服务场景的用户问题，对实体和语气词进行预处理，使用EDA_NLP_for_Chinese进行数据增强。自己改了EDA源码，取消了近义词和插入，因为自己造数据集的时候已经搞得差不多了，而且实体预处理后的占位单词不能转变为近义词
LLM使用RWKV，借鉴了wenda的prompt，对用户问题中找到的所有实体，查询其在知识图谱中的所有相关知识送入LLM prompt中，让LLM自己提取。在这种已知图谱形状，自己做了知识翻译的情况下，使用3B小模型跑fp16i8，就能达到很好的效果
RWKV用的API见我的另一仓库，知识图谱调用的wenda接口同样上传
基于知识图谱的智能问答系统，包含意图识别与类知识库送入LLM方法.zip
版权申诉
29 浏览量
2024-03-15
13:15:33
上传
评论
收藏 128KB ZIP 举报
基于知识图谱的智能问答系统，包含意图识别与类知识库送入LLM方法.zip （28个子文件） 
SJT-code 知识图谱数据 
region.csv 133B state.csv 15B site.csv 766B city.csv 64B locale.csv 174B belong.csv 889B country.csv 12B rwkv.py 715B intent data data.csv 10KB train.csv 766KB test.csv 1KB predict.py 1KB myeda.py 8KB train_cloud.ipynb 8KB data.csv 12KB data.ipynb 2KB train.csv 862KB stopwords 
cn_stopwords.txt 5KB scu_stopwords.txt 7KB hit_stopwords.txt 5KB baidu_stopwords.txt 9KB test.csv 1KB main.py 18KB data.py 2KB neo4jDriver.py 6KB config.json 235B README.md 1KB AC.py 2KB资源评论
JJJ69
- 粉丝: 6212
- 资源: 5783
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减5.97元 开通VIP
