### CCKS&百度 2019中文短文本的实体链指
**队名：FREE**
**摘要**
传统的实体链接任务主要是针对长文档。长文档拥有充分的上下文 信息，能够辅助实体的识别与消歧。相比之下，中文短文本的实体链接存 在很大的挑战。实体链接整个过程包括实体识别和实体消歧两个子任务。 针对实体识别子任务，我们创新性地利用了知识库描述文本的信息来增强 实体识别的性能，提出了 BERT-EntityNameEmbedding（BERT-ENE） 模型。具体地说，首先通过挖掘知识库中实体的描述文本得到实体名字的 向量嵌入，然后通过名称字典匹配技术，得到得到短文本中的候选实体，最 后利用 BERT-ENE 模型对结果进行筛选，完成实体识别的任务。此外，本 文进一步提出了一种将 BERT-ENE 模型与 BERT-CRF 模型相融合的新 方法，相比传统方法识别效果有了显著提升。针对实体消歧子任务，将其 视为二分类问题，通过基于 BERT 的二分类模型对候选实体进行预测，然 后对预测的概率进行排序，进而完成消歧任务。基于本文提出的方法，我们在 CCKS2019 面向中文短文本的实体链指任务中，取得了第一名的成绩。
**关键词**
实体链接，实体识别，实体消歧，BERT
**1** **数据分析与处理**
训练数据包含 text 字段和 mention_data 字段，mention_data 里面包 含连接的 mention 以及 kb_id。知识库包含 subject_id，subject，alias，data 等字段，data 中包含多个 predicate、object。
**1.1 引入新的别名**
经过对数据集统计分析，训练集中有 2.592% 的实体名在实 体库中无法匹配，部分错误样例如下所示：
1. 安妮 ‘海瑟薇：文本中间有特殊符
2. 新浪微薄：输入文本中实体名错误
3. 国家质检总局: 别名不在知识库中
为了解决这个问题通过为知识库中的对应实体引入新的别名来改善这 一问题，具体步骤如下
1. 对于错误１，对特殊符号进行归一化处理，并将处理后的名字，加入到对应实体的别名中。如所有中文标点符号全部准换成英文标点符号。
2. 对于错误３，我们实体识别的模型能够解决这一问题
3. 针对错误2与错误3，统计知识库中实体（$E$）无法匹配总次数（$E_{num}$）,训练集中实体E 无法匹配的所有字符串（$M_1,M_2,M_3...M_i$）以及该字符串对应的出现次数（$M_{inum}$）。我们设定，如果$E_{num}$ 大于4，并且$M_{inum}$ 大于3，则将字符串M加入到实体E的别名中。如，针对知识库中实体 bilibili 统计信息如下：
```python
'bilibili':{'E_num': 108, '哔哩哔哩': 94, '哔哩哔哩弹幕视频网': 5, '异地恋': 1, 'b站': 8}
```
根据以上统计将 '哔哩哔哩' ，'哔哩哔哩弹幕视频网'，'b站' 加入到实体 bilibili 的别名中。
**1.2 实体描述文本的构建**
知识库中每个实体都有‘data’ 字段，‘data’ 字段包含多个predicate项和object项，数据格式如下：
```json
"subject_id": "10001"
"subject": "胜利",
"data": [
{"predicate": "摘要", "object": "英雄联盟胜利系列皮肤是拳头公司制作的具有纪念意义限定系列皮肤之一。拳头公司制作的具有纪念意义限定系列皮肤还包括英雄联盟冠军系列皮肤。..."},
{"predicate": "制作方", "object": "Riot Games"},
{"predicate": "外文名", "object": "Victorious"},
{"predicate": "义项描述", "object": "游戏《英雄联盟》胜利系列限定皮肤"}]
```
将所有的 predicate和object 相连得到实体描述文本。
```json
{"10001": "摘要：英雄联盟胜利系列皮肤是拳头公司制作的具有纪念意义限定系列皮肤之一。...,制作方:Riot Games,外文名:Victorious,来源:英雄联盟,中文名:胜利" }
```
连接后的描述文本长度分布如下：
<center>
<img src="picture/Number_of_Text_Length.png" width="66%" height="66%" />
</center>
通过分析可以发现文本会存在过长的情况，为了方便以后处理需要多过长的文本进行截断，截断规则如下：
1. predicate项+object项 的长度小于30 不截断
2. predicate项+object项 的长度大于30按比例截断
**1.3 其他处理**
为了方便后续模型的使用我们需要根据知识库数据，构建一些字典。有以下几个字典：
1. entity_id 字典 key：实体名字 value：kb_id 列表
```python
{'胜利': ['10001', '19044', '37234', '38870', '40008', '85426', '86532', '140750']}
```
其中 胜利 为实体名字，列表里面为名字为 胜利 的所有实体的id。
2. id_entity字典 key: kb_id value: subject字段(实体名字)
```python
{'10001': '胜利'}
```
3. id_text字典 key：kb_id value: 实体描述文本
```python
{'10001': '摘要:英雄联盟胜利系列皮肤是拳头公司制作的具有纪念意义限定系列皮肤之一。'}
```
4. id_type字典 key：kb_id value: entity type
```python
{'10001': ['Thing']}
```
5. type_index字典 key：type name value：index
```python
{
‘NAN’: 0
'Thing':1
}
```
**2 实体识别**
但是使用 BERT-CRF模型只利用到了短文本信息，并没有利用知识库的信息。仍然会遇到实体边界识别错误，句子中实体识别不全等问题。为了解决上述不足，并且能够完全利用知识库的信息，提出了 BERT-ENE 模型。
针对实体识别任务，首先采用现在效果较好的 BERT-CRF 命名实体识别模型。针对基于实体库实体链接（尤其是短文本）仅仅采用BERT+CRF进行实体识别有两点不足：
1. BERT+CRF仍然会造成实体边界错误
2. BERT+CRF模型识别实体不全
3. 没有利用到知识库的信息
为了解决上述两个不足，并且能够完全利用知识库里面的实体信息，构建了BERT-EntityNameEmbedding模型，与BERT-CRF融合，解决上述问题。
**2.1 BERT+CRF**
图 1 为 BERT-CRF 模型，采用 BIO 标记，其中 BERT 的[CLS],[SEP] 位置用标签 TAG 表示。模型主要包含输入层、 BERT 层和 CRF层。：
<center>
<img src="picture/bert _CRF.jpg" width="66%" height="66%" />
</center>
涉及到的一些参数:
-- max_len 52
--batch_size 64
--dropout 0.2 （bert 输出后接的dropout）
--num_epochs 7
一些训练细节：
1. 将训练集分为9份，采用9折交叉验证，分别按照loss和f1保存模型，共18个模型
2. 因为BERT具有一定的随机性，在训练的过程中针对每个模型会多训练几次选择较好的一个（从第一轮结束验证后就能判断，不用全部跑完）
3. 前3轮学习率为1e-5，后面会调整为1e-6
4. 最大epoch为7，训练过程会根据loss提前停止
**2.2 BERT-EntityNameEmbedding（BERT-ENE）模型**
BERT-ENE 模型如图 2 所示，其具体思路为： 1. 利用知识库的实体名称和实体的别名信息构建实体名称字典。 2. 通过知识库的实体描述文本，利用 BERT 预训练模型，选取模型 CLS 位置的向量输出作为实体名称的
向量嵌入。 3. 通过字典匹配方式，得到短文本中候选实体。 4. 通过构建的BERT-ENE 模型对匹配的结果进行筛选。
**2.2.1 字典树+实体正向最大匹配**
为了加快速度采用字典树这一结构，同时采用正向最大匹配实体的思路，去匹配文本中实体。首先需要的数据为1.3中的 entity_id 字典，将里面的key 也就是实体名字插入到字典树中，实体库中存在很多单字实体，这类实体匹配会造成太多匹配结果，对于单字实体不在插入。
全部匹配例：
```p
百度实体链接技术比赛参赛源码+项目说明（第一名）.zip
版权申诉
19 浏览量
2024-01-16
22:33:05
上传
评论
收藏 558KB ZIP 举报
百度实体链接技术比赛参赛源码+项目说明（第一名）.zip （27个子文件） 
code_20105 picture 
bert_binary.jpg 159KB
bert _CRF.png 25KB bert _entity_embedding.jpg 271KB bert _entity_embedding.png 51KB Entity_embedding.jpg 64KB Number_of_Text_Length.png 29KB Entity_embedding.png 18KB bert _CRF.jpg 117KB bert_binary.png 27KB
README.md 14KB code evaluate.py 5KB ER_ner_input.py 4KB ER_match_input.py 7KB EL_result.py 3KB trie.py 8KB ER_result.py 6KB EL_input_bert_final_384.py 6KB ER_ner_bert_crf.py 5KB 程序运行说明 614B data_util.py 8KB ER_match_bert.py 9KB EL_input_bert_final.py 6KB keras_layers.py 73KB entity_vec_extract.py 2KB run.sh 344B EL_model_binary_bert_final_384.py 12KB EL_model_binary_bert_final.py 12KB资源评论
