基于深度学习的命名实体识别系统的设计与实现_1143710316_乐远1

摘 要

互联网+时代的到来使得互联网已经成为各个领域的基础性设施，尤其是

金融领域。为了使得金融领域的信息达到“万物互联”，我们尝试去建立一个

金融知识图谱，而这其中一个很重要的基础性工作就是设计一个命名实体识别

系统，即从年报、公司报告、招股说明书、新闻等文本中提取出命名实体。我

础性工具！

关键词： 命名实体识别；知识图谱；系统设计；深度学习

Abstract

With the development of the Internet+ era, the Internet has become a basic

infrastructure in all areas, especially in the financial sector. In order to make

information in the financial sector reach "all things interconnected," we try to

establish a financial knowledge graph. One of the most important basic tasks is to

design a named entity recognition system from the annual report, company report,

prospectus, and news. Named entities are extracted from such texts. We used an end-

to-end bi-directional LSTM plus CRF deep learning method, achieved an F value of

simplify the user's operation and provide a powerful foundational tool for the

construction of financial knowledge graph.

Keywords: name entity recognition, knowledge graph, system design, deep learning

目 录

摘 要 ...........................................................................................................................I

Abstract ........................................................................................................................II

第 1 章 绪论 ................................................................................................................1

1.1 课题背景及意义 ...............................................................................................1

1.2 国内外研究现状 ...............................................................................................3

1.3 本文主要工作内容 ...........................................................................................6

第 2 章 需求分析 ........................................................................................................7

2.1 系统功能需求 ...................................................................................................7

3.1.1 系统功能设计 ..........................................................................................10

3.1.4 系统存储数据结构设计 ..........................................................................13

3.2 系统详细设计 .................................................................................................14

3.2.1 文本输入详细设计 ..................................................................................14

3.2.2 分句分词详细设计 ..................................................................................14

3.2.3 人工标注语料库详细设计 ......................................................................15

3.2.4 词向量模块详细设计 ..............................................................................15

3.2.5 实体识别算法详细设计 ..........................................................................16

3.2.6 模型调参调优详细设计 ..........................................................................21

3.2.7 实体识别详细设计 ..................................................................................22

3.2.8 后处理详细设计 ......................................................................................24

4.2 命名实体识别系统实现 .................................................................................26

4.2.1 文本输入实现 ..........................................................................................26

4.2.2 分句分词实现 ..........................................................................................27

4.2.3 人工标注语料库实现 ..............................................................................28

4.2.4 词向量模块实现 ......................................................................................29

4.2.5 实体识别算法实现 ..................................................................................30

4.2.6 模型调参与调优实现 ..............................................................................32

4.2.7 实体识别实现 ..........................................................................................35

4.2.8 后处理实现 ..............................................................................................38

4.3 本章小结 .........................................................................................................39

5.3 本章小结 .........................................................................................................45

结 论 ........................................................................................................................46

参考文献 ....................................................................................................................47

哈尔滨工业大学本科毕业设计（论文）原创性声明 ............................................50

致 谢 ........................................................................................................................51

附录 1 外文文献译文 ...............................................................................................52

附录 2 外文文献原文 ...............................................................................................58

本项目主要来源于我在在深圳证券交易所实习阶段所参与的《证券金融知

识图谱》项目以及许保勋许博士的指导。

深圳证券交易所是一个监管金融与股票交易的一个非商业机构，每天会有

大量的交易以及重要的政策、股票行情信息，因此急需要一个能够充分利用复

杂的金融信息的一个平台，经过多年探索和广泛调研最终决定模仿上交所构建

一个证券知识图谱，以充分利用各种金融信息。

2012 年，谷歌将知识图谱

和工业界收到了广泛关注。知识图谱的本质是一个语义网络，由概念、实体以

及实体之间的关系构成。知识图谱的构建主要是将零散的结构化、半结构化和

无结构化数据通过信息抽取、信息融合等技术处理成集中的结构化数据，并通

过图的方式表达实体与实体之间的复杂关系，方便上层应用系统从整个知识系

产生的正面或者负面影响、风险进行分析，从而快速做出投资决策甚至实现降

低投资交易风险。因此研究金融领域证券知识图谱具有重大意义。