# 方法说明
该代码方法用到了开源工具Hanlp,和官方的预训练模型bert-base-chinese。
项目目录结构如下:
![](images/d1.PNG)
其中expirement_attr、expirement_er和expirement_re三个文件夹下分别是做评测过程中进行的一些相关实验,data文件夹下存放的评测数据。
## 1.实体抽取方法
通过Hanlp实体识别工具,抽取“人物”和“机构”两种类型的实体。
通过规则,抽取“研报“,“文章“,“风险“,“ 机构“四种类型的实体。
除了规则匹配外,还可以采用远程监督的方法,主要用于抽取研报中的实体,具体流程如下图所示:
![](images/d2.PNG)
1.使用规则和外部工具抽取一部分实体
2.将原始数据平均分成两半,一半用于训练,一半用于测试,对用于训练的一半数据使用远程监督进行标注
3.采用将远程监督方法标注的数据按4:1划分,分别作为训练和验证集,训练模型
4.使用上一步训练出的模型在测试集上进行预测,抽取出一部分实体
5.查看是否达到中止循环的条件,达到条件后中止
6.通过规则匹配的方法筛选掉一些实体,剩下的实体加入种子知识图谱,然后从第2步开始,重复上一次训练,迭代进行实体抽取
## 2.属性抽取方法
使用规则匹配的抽取方法
## 3.关系抽取方法
使用规则匹配的抽取方法
# 程序运行说明
需要先安装python3.7和pytorch1.3
然后需要使用以下命令安装相关依赖库:
```
pip install jieba
pip install hanlp
pip install pytorch_pretrained_bert
```
使用如下命令启动程序:
```
python main.py
```
最终结果存放在
output文件夹下,名称为answers.json
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
知识图谱是一种结构化的知识表达形式,它以图形的方式组织和存储了大量实体(如人、地点、事件等)及其相互关系。在知识图谱中,实体作为节点,实体之间的各种语义关联则通过边进行连接,形成了一个庞大的数据网络。 知识图谱的核心价值在于其能够精确、直观地表示复杂世界中的知识,并支持高效的知识查询与推理。例如,在搜索引擎中,知识图谱可以提升搜索结果的相关性和准确性,为用户提供直接的答案而非仅仅是网页链接。同时,知识图谱还能支撑高级的人工智能应用,比如问答系统、推荐系统、决策支持等领域。 构建知识图谱的过程通常包括数据抽取、知识融合、实体识别、关系抽取等多个步骤,涉及到自然语言处理、机器学习、数据库技术等多种技术手段。知识图谱的不断完善有助于实现从海量信息中挖掘深层次、有价值的知识,从而推动人工智能向着更加理解人类世界的智慧方向发展。 总之,知识图谱是一个大规模、多领域、多源异构知识集成的载体,是实现智能化信息系统的基础工具和关键基础设施,对于提升信息检索质量、推动智能应用研发具有重要作用。
资源推荐
资源详情
资源评论
收起资源包目录
ccks2020基于本体的金融知识图谱自动化构建技术评测第五名方法总结.zip (154个子文件)
example_train.conf 685B
example_eval.conf 453B
best_dev_results.json 656KB
relationships.json 114KB
entities.json 23KB
attrs.json 5KB
schema.json 2KB
config.json 821B
zh_bert.json 793B
en_bert_base_cased.json 552B
en_bert_base_uncased.json 525B
readme.md 2KB
d2.PNG 94KB
d1.PNG 52KB
pcnnone_DEF.pth 0B
pcnnone_DEF.pth 0B
bert_basic_model.py 32KB
evaluator.py 22KB
spert_trainer.py 18KB
train_bert_mrc.py 14KB
entities.py 11KB
models.py 10KB
train.py 10KB
mrc_utils.py 9KB
preprocess_data.py 8KB
main.py 8KB
sampling.py 8KB
model.py 8KB
bert_utils.py 8KB
train.py 8KB
loader.py 8KB
mrc_ner_evaluate.py 8KB
input_reader.py 8KB
loader.py 7KB
train.py 7KB
loader.py 7KB
result.py 7KB
result.py 7KB
result.py 7KB
extract_entities.py 6KB
util.py 6KB
main_mil.py 6KB
args.py 6KB
submodel.py 6KB
functions.py 5KB
torch_utils.py 5KB
torch_utils.py 5KB
torch_utils.py 5KB
torch_utils.py 5KB
EtlModel.py 5KB
trainer.py 5KB
flat_span_f1.py 5KB
optim.py 5KB
model.py 5KB
main_att.py 4KB
vocab.py 4KB
vocab.py 4KB
vocab.py 4KB
mrc_data_loader.py 4KB
mycrf.py 4KB
bert_mrc.py 4KB
extract_relations.py 4KB
regulation.py 4KB
bert_att_mis.py 4KB
extract_attrs.py 3KB
model.py 3KB
score.py 3KB
submodel.py 3KB
data_transfer.py 3KB
dataloader.py 3KB
config.py 3KB
config.py 3KB
score.py 2KB
dataloader.py 2KB
config_reader.py 2KB
eval.py 2KB
eval.py 2KB
score.py 2KB
QuestionText.py 2KB
eval.py 2KB
utils.py 2KB
utils.py 2KB
model_config.py 2KB
bert_tokenizer.py 2KB
MyDataset.py 2KB
result_process.py 2KB
loss.py 2KB
submodel.py 2KB
data_preprocess.py 2KB
helper.py 2KB
helper.py 2KB
helper.py 2KB
parameters.py 2KB
nest_span_f1.py 2KB
EvaluateScores.py 1KB
spert.py 1KB
classifier.py 1KB
bert_dict_enhance.py 1KB
HanlpNER.py 1KB
bert_one_mis.py 1KB
共 154 条
- 1
- 2
资源评论
JJJ69
- 粉丝: 6342
- 资源: 5918
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功