针对命名实体识别的数据增强技术针对命名实体识别的数据增强技术.docx

"针对命名实体识别的数据增强技术" 命名实体识别（Named Entity Recognition, NER）是指通过模型自动地识别出一段自然文本中所包含的实体，例如人名、地名、机构名等。由于实体表述十分繁杂多样，往往无法穷举所有可能的实体，使得命名实体识别是一个艰难的任务。 在金融科技领域，命名实体识别有着广泛的应用，例如识别出时事新闻中的人名、地名、机构名，能够为后续的金融分析任务提供特征支持。然而，命名实体识别任务的数据标注成本很高，一句话需要标注多个实体，且往往存在歧义和嵌套的情况，导致标注时需要详细斟酌。 近年来，得益于深度学习的发展与兴起，命名实体识别任务在大量训练数据的支持下取得了良好的性能。但是，标注一条 NER 数据的时间往往是文本分类等其他自然语言处理任务的数倍。 为了解决数据匮乏的问题，统计机器学习领域最常用手段是数据增强（Data Augmentation）技术。在计算机视觉的相关任务中，常用的数据增强技术包括对图像进行缩放、平移、旋转、白化等操作，可以将一张图片样本扩展成多张图片样本。在语音处理相关任务中，常用的数据增强技术则有时域扭曲、时域遮罩、频域遮罩等，将声波在频域和时域上加入噪声。 在自然语言处理中，数据增强在文本分类任务中也有广泛的应用，最具代表性的就是 EDA 方法，其将自然语言数据进行随机的替换、交换、插入、删除。然而，目前没有专门针对命名实体识别这一任务而定制的数据增强技术，现有的数据增强技术对于命名实体识别任务的数据扩展性有限。 本文针对基于序列标注的 NER 任务，分别提出了基于 EDA、基于远程监督、基于 Bootstrap 的数据增强方法，来解决命名实体识别任务中的数据匮乏问题。 命名实体识别技术作为自然语言理解技术中的重要一环，已经经历了几十年的长足发展，并且在各行各业有着广泛的落地场景，例如金融新闻中的公司机构识别、法律文书中的法律名、人名识别、医疗文本中的疾病名、药物名识别等等。 早期的命名实体识别大多是基于规则的方法，其中最具代表性的方法有基于词汇规则的方法、基于短语规则的方法以及基于上下文模板的方法。这类方法需要通过语言学家对命名实体规则进行总结归纳，在某些强规则相关的特定领域文本能够取得还不错的性能。 然而，这类方法的缺点也显而易见：人工总结的规则往往泛化性能有限，无法涵盖所有情况。因此，这类方法在大多通用领域文本下的性能较差。 近年来，命名实体识别开始采用序列标注的建模方式，即将句子序列输入 NER 模型当中，模型输出等长的标注序列，表示唯一的一组实体识别结果。常见的序列标注法有“BIO”法和“BIOES”法。本文中默认使用“BIO”法，即“B”代表实体的开头，“I”代表实体的内部，“O”代表非实体部分，如图 1 所示。 基于序列标注的建模方式，数据驱动的机器学习方法开始被引入命名实体识别任务当中，常见的方法包括基于支持向量机的方法、基于隐马尔科夫模型的方法等。