Python系列：NLP系列二：命名实体识别（NER）、用深度学习实现命名实体识别（NER）

共15个文件

pk：4个

py：4个

png：3个

62 浏览量 2024-01-17 10:24:13 上传评论 2 收藏 1.21MB ZIP 举报

命名实体识别（NER）是自然语言处理（NLP）领域中的一个重要任务，它涉及识别文本中具有特定意义的实体，如人名、地名、组织名等。在本Python系列的NLP篇中，我们将深入探讨如何利用深度学习技术来实现这一功能。一、命名实体识别（NER）基础 1. 定义：NER的目标是从非结构化的文本中抽取有特定意义的实体，并将其分类到预定义的类别，如人名（PER）、地名（LOC）、组织名（ORG）等。 2. 应用场景：搜索引擎、问答系统、信息提取、情感分析等。二、深度学习在NER中的应用 1. 模型选择：常见的深度学习模型有LSTM（长短时记忆网络）、CNN（卷积神经网络）以及更先进的BiLSTM-CRF（双向LSTM结合条件随机场）等。 2. 输入表示：使用词嵌入（Word Embeddings），如预训练的GloVe或Word2Vec，将词汇转换为向量，以捕捉语义信息。 3. 结构设计：BiLSTM能够捕捉句子中前后文的信息，CRF层用于考虑全局序列信息，提高实体边界预测的准确性。三、BiLSTM-CRF模型详解 1. BiLSTM：双向LSTM同时考虑了前向和后向的上下文信息，对每个时间步的隐藏状态进行拼接，提供更丰富的特征。 2. CRF层：条件随机场用于序列标注任务，避免了孤立预测导致的错误。在NER中，CRF层可以优化整个序列的标签分配，使得相邻实体的标签更加合理。四、实现步骤 1. 数据准备：收集标注好的NER数据集，如CoNLL2003，包括原始文本和对应的实体标签。 2. 文本预处理：分词、去除停用词、词干提取等，将文本转化为模型输入格式。 3. 建立模型：使用TensorFlow、PyTorch等深度学习框架搭建BiLSTM-CRF模型。 4. 训练与优化：设置损失函数（通常是交叉熵）和优化器（如Adam），进行模型训练并调整超参数。 5. 评估与测试：使用F1分数等指标评估模型性能，进行验证集和测试集的预测。五、DL_4_NER-master项目概述这个压缩包可能包含一个名为"DL_4_NER-master"的项目，该项目可能提供了完整的代码实现，包括数据加载、模型构建、训练、评估和预测等部分。通过研究该项目，你可以深入了解如何将深度学习应用于命名实体识别，并动手实践以提升技能。总结，Python结合深度学习在NLP中的命名实体识别是一个复杂而关键的任务，涉及到多个技术环节。理解并掌握这些技术，对于提升文本处理能力，尤其是信息提取的精度，具有极大的价值。通过实际项目“DL_4_NER-master”的学习，你能够深入理解NER的实现过程，为自己的NLP实践之路添砖加瓦。

资源推荐

资源详情

资源评论

收起资源包目录

DL_4_NER-master.zip （15个子文件）

DL_4_NER-master

NERSystem

word_dictionary.pk 470KB

output_dictionary.pk 143B

LSTM_model.png 9KB

inverse_word_dictionary.pk 470KB

label_dictionary.pk 143B

句子长度及出现频数统计图.png 20KB

句子长度累积分布函数图.png 26KB

train.txt 2.21MB

DL_4_NER

utils.py 1KB

Bi_LSTM_Model_training.py 5KB

Bi_LSTM_Model_predict.py 2KB

data_processing.py 3KB

__pycache__

utils.cpython-35.pyc 2KB

data_processing.cpython-35.pyc 4KB

README.md 3KB

# DL_4_NER Using Bi-LSTM model for NER in English. 语料库train.txt的前15行： ``` played on Monday ( home team in CAPS ) : VBD IN NNP ( NN NN IN NNP ) : O O O O O O O O O O American League NNP NNP B-MISC I-MISC Cleveland 2 DETROIT 1 NNP CD NNP CD B-ORG O B-ORG O BALTIMORE 12 Oakland 11 ( 10 innings ) VB CD NNP CD ( CD NN ) B-ORG O B-ORG O O O O O TORONTO 5 Minnesota 3 TO CD NNP CD B-ORG O B-ORG O ...... ``` 使用Keras创建Bi-LSTM模型的示意图如下： ![Bi-LSTM模型的示意图](https://github.com/percent4/DL_4_NER/blob/master/NERSystem/LSTM_model.png) 该模型在原始数据的训练集上的准确率在99%以上，在测试集上的准确率在95%以上。对新的数据集进行测试：自己想的三个句子：输入为： ``` sent = 'James is a world famous actor, whose home is in London.' ``` 输出结果为： ``` ['James', 'is', 'a', 'world', 'famous', 'actor', ',', 'whose', 'home', 'is', 'in', 'London', '.'] ['B-PER', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B-LOC', 'O'] NER识别结果： PERSON: James LOCATION: London ``` 输入为： ``` sent = 'Oxford is in England, Jack is from here.' ``` 输出为： ``` ['Oxford', 'is', 'in', 'England', ',', 'Jack', 'is', 'from', 'here', '.'] ['B-PER', 'O', 'O', 'B-LOC', 'O', 'B-PER', 'O', 'O', 'O', 'O'] NER识别结果： PERSON: Oxford LOCATION: England PERSON: Jack ``` 输入为： ``` sent = 'I love Shanghai.' ``` 输出为： ``` ['I', 'love', 'Shanghai', '.'] ['O', 'O', 'B-LOC', 'O'] NER识别结果： LOCATION: Shanghai ``` 在上面的例子中，只有Oxford的识别效果不理想，模型将它识别为PERSON，其实应该是ORGANIZATION。 &emsp;&emsp;接下来是三个来自CNN和wikipedia的句子：输入为： ``` sent = "the US runs the risk of a military defeat by China or Russia" ``` 输出为： ``` ['the', 'US', 'runs', 'the', 'risk', 'of', 'a', 'military', 'defeat', 'by', 'China', 'or', 'Russia'] ['O', 'B-LOC', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'B-LOC', 'O', 'B-LOC'] NER识别结果： LOCATION: US LOCATION: China LOCATION: Russia ``` 输入为： ``` sent = "Home to the headquarters of the United Nations, New York is an important center for international diplomacy." ``` 输出为： ``` ['Home', 'to', 'the', 'headquarters', 'of', 'the', 'United', 'Nations', ',', 'New', 'York', 'is', 'an', 'important', 'center', 'for', 'international', 'diplomacy', '.'] ['O', 'O', 'O', 'O', 'O', 'O', 'B-ORG', 'I-ORG', 'O', 'B-LOC', 'I-LOC', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O'] NER识别结果： ORGANIZATION: United Nations LOCATION: New York ``` 输入为： ``` sent = "The United States is a founding member of the United Nations, World Bank, International Monetary Fund." ``` 输出为: ``` ['The', 'United', 'States', 'is', 'a', 'founding', 'member', 'of', 'the', 'United', 'Nations', ',', 'World', 'Bank', ',', 'International', 'Monetary', 'Fund', '.'] ['O', 'B-LOC', 'I-LOC', 'O', 'O', 'O', 'O', 'O', 'O', 'B-ORG', 'I-ORG', 'O', 'B-ORG', 'I-ORG', 'O', 'B-ORG', 'I-ORG', 'I-ORG', 'O'] NER识别结果： LOCATION: United States ORGANIZATION: United Nations ORGANIZATION: World Bank ORGANIZATION: International Monetary Fund ``` &emsp;&emsp;这三个例子识别全部正确。

评论收藏

内容反馈