人工智能项目资料-基于深度学习的企业实体识别.zip

# 基于深度学习的企业实体识别 ## 摘要 ​ 随着深度学习技术的发展，文字识别与自然语言处理近年来受到广泛关注。结合文字识别与自然语言处理技术解决传统方法无法处理的问题，成为企业提高自身竞争力的重要利器。 ## 需求分析 ### 背景及研究意义 ​ 实体识别技术在布局各类证件、通用文字识别等相关领域都有着重要应用前景，我们相信实体识别技术将会支持更多应用场景，满足更多用户的需求。例如，通过拍照扫描等方式，提供身份信息的快速自动录入体验，以提高边检/酒店/旅游/公共安全以及电商等行业领域的工作效率；自然场景实体识别可以捕获现实中多种场景下的文字，可有效支持虚拟现实、人机交互、图像检索、无人驾驶、车牌识别、工业自动化等领域中广泛的应用。综上，实体识别技术有着广泛的应用前景。 ### 作品简介 ​ 企业实体识别主要应用在我们目前业务系统中的查证功能。查证功能的主要作用是将用户拍摄的店铺照片经过OCR识别后进行店铺名称的提取，然后通过店铺名称查询证照库，获取该店铺办理过的所有证照信息，方便用户进一步了解该店铺。在日常应用中，例如外出就餐时利用我们的系统随手拍摄要就餐的饭店门脸，系统会自动检测该饭店证照是否齐全以及所办证照的详细信息，方便用户做出就餐决策。 ​ 参赛者可以用附件提供的50张图片作为测试数据，提取出文字信息后汇总进Excel作为交付文件，此外附件还包括一个txt文件，文件中每行表示每张图片的标准输出。 ### 特色描述 我们的作品相对于现有的企业实体识别技术主要有以下主要特色： - 更快的收敛速度 传统的系统往往需要较大的训练数据集才可以得到较好的测试精度，这就十分不利于提升中小型企业在市场中的竞争力，我们通过进行前置文字转移技术来使得作品有了更快的收敛速度，更利于中小型企业的应用。 - 更快的相应速度 相对于传统的OCR算法在文字识别时更注重查全率不同，我们的系统更关注一张图片中的主要内容，也即是较大的商标LOGO，而不用去关注那些与企业名称识别无关的部分。 - 更巧妙的算法带来更准确的识别结果 市面上现有的算法几乎都是完全基于深度学习的判断，这样不仅让系统的运行速度降低，更重要的是这样的做法在复杂环境下会降低准确率，我们小组在深度学习的基础上增加了商标面积权重，这样的作法基于人的想法：人往往会将那些期望的景物放在图片最显眼的位置。 ### 应用前景 ​ 企业实体识别技术在布局各类证件、通用文字识别等相关领域都有着重要应用前景，我们相信未来企业实体识别技术将会支持更多应用场景，满足更多用户的需求。例如，通过拍照扫描等方式，提供身份信息的快速自动录入体验，以提高边检/酒店/旅游/公共安全以及电商等行业领域的工作效率；自然场景企业实体识别可以捕获现实中多种场景下的文字，可有效支持虚拟现实、人机交互、图像检索、无人驾驶、车牌识别、工业自动化等领域中广泛的应用。综上，我们的项目有着广泛的应用前景。 ### 需求描述 #### 功能性需求 1. 程序能够自动读取图片所在的文件夹路径。 2. 从图片文件夹路径中顺序取出图片进行识别。 3. 能够尽可能识别出图片中的所有文字，接着从文字中精确识别商铺名称。 4. 最终的识别结果以一份汇总的Excel交付 #### 非功能性需求 1. 程序源码要求结构清晰。 2. 建议但不强求使用人工智能领域深度学习技术进行实现。 3. 使用GPU(图形处理器)加速计算。 ### 实验条件 1. 操作系统使用Windows10。 2. 开发语言使用Python3。 3. 使用Pytorch实现模型训练。 ## 概要设计 #### 架构设计 ​ 为了使您可以更直观，方便的了解本系统的架构模式，我们绘制了如下的系统架构图： <img src="images/软件设计文档/总体架构.png" style="zoom:80%;" /> #### 使用的技术 - 文字检测 - 文字识别 - 命名实体识别 #### 算法交互架构 ​ 本项目有三个主要的模块即：文字检测，文字识别与命名实体识别，其中： 1. 文字检测与文字识别将直接通过数据流进行交互，并且这两项算法由于已经较为稳定，它们被封装在一个Docker容器中。 2. 文字识别与命名实体识别之间将通过套接字进行交互，这也是为了后期可能的分布式处理做准备。 3. 在我们优化过程中也对图片进行了加工，这时图片将直接通过读写文件的方式进行交互。 ## 详细设计 我们根据架构设计的结果绘制出了如下的数据流图 <img src="images/软件设计文档/数据流图.jpg" style="zoom:80%;" /> 即： 1. 用户打开软件，输入期望识别的图片所在文件夹 2. 程序会根据用户输入的文件路径读入相应的图片 3. 程序会根据图片的大小情况进行压缩 4. 图片会被交给文字检测模块，检测后输出文字所在区域坐标 5. 文字识别模块接收到文字区域信息自动识别区域内的文字信息 6. 系统将识别出的文字信息交给自然语言处理模块 7. 自然处理模块通过中文文本语义识别和面积加权判断出最可能企业实体名称并传递给主函数 8. 主函数接收到自然语言处理模块返回的数据，将数据按照格式要求写入excel文件以及一个txt文件，同时向用户返回成功的消息 其中： - 文字检测模块使用EAST算法 - 文字识别模块使用CRNN+CTC算法 - 自然语言处理模块使用Aho-Corasick算法 ​ 整个项目过程中python代码需严格按照Google开源项目风格指南完成，除此之外要特别注重变量的可读性命名，所有代码都尽可能有详尽的注释。Java代码需严格遵守阿里巴巴Java开发手册要求进行编码。 ​ 除此之外还要注意文档的书写以及文件目录结构的组织，以增强代码的可重用性，可扩展性以及可维护性。 ## 文字检测模块 ### EAST算法 #### 核心思想 - 提出了两段式的文本检测方法，FCN+NMS，消除多过程造成的中间误差累计，减少了检测时间 - 模型可以进行单词级别检测，又可以进行文本行检测，检测的形状可以是任意形状的四边形也可以是普通的四边形 - 采用了`Locality-Aware NMS`的预测框过滤 网络结构如下所示 <img src="images/软件设计文档/east.jpg" style="zoom:80%;" /> #### Pipeline - 先用一个通用的网络(论文中采用的是PVAnet，实际在使用的时候可以采用VGG16，Resnet等)作为base net ，用于特征提取 > 此处对PAVnet进行一些说明，PAVnet主要是对VGG进行了改进并应用于目标检测任务，主要针对FasterRcnn的基础网络进行了改进，包含`mCReLU,Inception,Hyper-feature`各个结构 > >  > > 在论文总的基础网络用的是`PVAnet`的基础网络，具体参数如下所示 > >  > > 对于mCReLU结构和Inception结构如下所示 > >  - 基于上述主干特征提取网络，抽取不同层的`featuremap`（它们的尺寸分别是inuput-image的132,116,18,14132,116,18,14，这样可以得到不同尺度的特征图，这样做的目的是解决文本行尺度变换剧烈的问题，ealy-stage可用于预测小的文本行(较大的特征图)，late-stage可用于预测大的文本行(较小的特征图)。 -