毕业设计: 基于Densenet + CTC技术的文字检测识别的技术研究

# 基于文字检测识别的技术研究 ## 摘要 文字是人类交流信息的重要工具，在科技和网络不断发展的今天，文本的方式或者说载体发生了很大的变化，文字不再只停留在书面，更以标识牌，横幅，广告牌等等方式出现我们的生活中，或者说，它们是一张张图片中的文本信息。用计算机检测识别这些信息将给我们的生活带来极大的便利。比如说，自动驾驶技术识别路边的各种指示牌，停车场的车牌识别，扫描录入身份证信息等等。 本毕设课题是属于计算机视觉下的目标检测与识别，对象为自然场景下的各种文本信息，通俗的说就是检测识别图片中的文本信息。由于文本的特殊性，本毕设将整个提取信息的过程可以分为检测、识别两个部分。 论文对用到的相关技术概念有一定的介绍分析，如机器学习，深度学习，以及各种的网络模型及其工作原理过程。 检测部分采用水平检测文本线方式进行文本检测，主要参考了乔宇老师团队的 CTPN 方法，并在正文部分从模型的制作到神经网络的设计实现对系统进行了较为详细的分析介绍。 识别部分则采用的是 Densenet + CTC，对于印刷体的文字有较好的识别。 关键词：深度学习；文本检测；文本识别；CTPN；Densenet；CTC ## ABATRACT The words is an important tool for human beings to exchange information. Today, with the continuous development of science, technology and the Internet, great changes have taken place in the way or carrier of text. The text is no longer confined to writing, but is even more marked with signs and banners. Billboards and so forth appear in our lives, or rather, they are text messages in pictures. Using computer to detect and recognize these information will bring great convenience to our life. For example, autopilot technology recognizes roadside signs, license plate recognition in parking lots, scanning for ID information, and so on. This topic belongs to the computer vision target detection and recognition, the object is the natural scene of a variety of text information, commonly said is to detect and recognize the text information in the picture. Because of the particularity of the text, the whole process of extracting information can be divided into two parts: detection and recognition. The paper introduces and analyzes the relevant technical concepts, such as machine learning, in-depth learning, and a variety of network models and their working principles. The detection part uses horizontal detection text line for text detection, mainly referring to the CTPN method of teacher Qiaoyu team, and in the text part, from the model making to the design and implementation of neural network, the system is analyzed and introduced in detail. In the part of recognition, Densenet + CTC is used, which has a good recognition of printed text. Keywords: deep learning; text detection; character recognition; CTPN; Densenet; CTC ## 一、绪论 ### 1.1 选题背景依据 人类接收外界信息主要通过各种感觉器官，比如说视觉、听觉、嗅觉、味觉、触觉等等。但是其中最重要的莫过于视觉，因为我们总习惯于用眼镜去发现感知获取外界信息。文字的产生对于人类有着特别意义，在此不特别赘述。而本次毕业设计课题的目的就是提取自然场景下的文本信息。 在这个互联网高度发展下的信息时代，手动记录文本信息不能说它已经过时，但是说它不够效率跟不上时代却是没什么问题的。例如停车场记录车牌号，要是人工的这么一个个的去记录，不但浪费人力，更重要的是导致后面停车的人会等很久，浪费停车人的时间。又如学校老师上课的时候写的板书，来不及记录的时候基本都会直接用手机拍照记录。再比如我们用过的手写输入法，有道词典百度词典的拍照翻译等等，都是基于计算机视觉中的文本识别。 但随着各类技术的发展，我们不仅仅局限于那种简单的，容易实现的文本识别，我们更希望进一步的去提取自然场景下的各种文本信息。比如说我们生活中随处可见的交通标识牌、各类商铺的招牌、各类宣传横幅、布告栏、警示标语等。这些文本信息不同于我们平时书面上的文本，因为处于自然环境中，所以各种灯光，不同的角度，雨雾天气等各种自然环境现象都对检测造成很大的干扰，就目前来看，现有方法识别这类的文本信息仍有不小的问题，文本检测与识别仍是具有挑战的研究课题。 ### 1.2 目前的研究现状 国际文档分析与识别大会（ICDAR）是全球文档分析以及模式识别领域最重要的国际学术会议之一，由国际模式识别协会(International Association of Pattern Recognition, IAPR)主办。该会议每两年举办 1 次，从 1991 年第 1 届开始，到 2017 年已成功举办 14 届。其中去年的大赛由腾讯云 OCR 斩获四项冠军。 文本检测与识别可以基本的分为文本位置检测和文本字符识别两个部分。 文本检测的算法近来发展较快，大致的可以分为水平文本检测和倾斜文本检测两类，水平文本检测个人认为做的比较好的是 2016EVCC 乔宇团队的 CTPN，而倾斜文本检测较好的则是 2017CVPR 的 EAST 和 Seglink。 文本识别个人认为的比较好的算法也有两种，一种是 CNN+RNN+CTC，另一种是基于 Attention 的 CNN+RNN。 ## 二、技术相关 ### 2.1 tensorflow 框架 TensorFlow 是谷歌基于 DistBelief 进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着 N 维数组，Flow（流）意味着基于数据流图的计算，TensorFlow 为张量从流图的一端流动到另一端计算过程。TensorFlow 是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。 TensorFlow 可被用于语音识别或图像识别等多项机器学习和深度学习领域，对 2011 年开发的深度学习基础架构 DistBelief 进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。TensorFlow 完全开源，任何人都可以用。 目前 TensorFlow 框架在 Linux 操作系统下的安装已经十分简单，python 语言可以很方便的安装与使用 tensorflow，可根据自己电脑的配置进行具体的安装，如果电脑配有 GPU，推荐安装 GPU 版本，这将大大的提升模型的训练速度，以及使用模型时的检测识别速度。 关于 tensorflow 的各种知识以及安装的教程，网上的介绍已经十分的全面，在此不做进一步的赘述。 ### 2.2 OpenCV OpenCV 于 1999 年由 Intel 建立，如今由 Willow Garage 提供支持。OpenCV 是一个基于 BSD 许可（开源）发行的跨平台计算机视觉库，可以运行在 Linux、Windows 和 Mac OS 操作系统上。它轻量级而且高效，由一系列 C 函数和少量 C++ 类构成，同时提供了 Python、Ruby、MATLAB 等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。最新版本是 3.4.1 ，2018 年 2 月 27 日发布。 OpenCV 拥有包括 500 多个 C 函数的跨平台的中、高层 API。它不依赖于其它的外部库——尽管也可以使用某些外部库。 OpenCV 为 Intel Integrated Performance Primitives（IPP）提供了透明接口。这意味着如果有为特定处理器优化的 IPP 库，OpenCV 将在运行时自动加载这些库。 简言之，OpenCV 库就是用来对图片或视频进行一个初步的处理，例如把图像变为灰度图，给图像进行边�