5.毕业论文 _钟东昌_《面向唇语识别的数据采集系统设计与实现》.pdf

近年来唇语识别成为了人机交互的黑科技，融合了机器视觉与自然语言处 理技术，在语音识别、人机智能交互、安防和公益等领域有着重要的实用价值 和理论意义，发展前景十分广阔。 唇语识别的研究离不开数据集，而国内目前还没有可用的中文唇语数据集， 因此，设计实现一个面向唇语识别的数据采集系统将会具有重要的实用价值。本 文首创性地设计实现了一个面向中文唇语识别的数据采集系统，用语音识别提取 视频的文字和对应的时间戳信息，再按词语进行视频切割并分割提取唇形，将其 与文字相对应，准确率超过 95%，与 DeepMind 团队提出的英文唇语识别数据采 集系统性能进行分析比较，得出了本系统性能更好的结论。

基于视觉信息和深度学习的中文唇语数据集构建与识别_胡扬.caj

本文以中文唇语识别为主线，通过更有效的数据收集手段将中文的唇语识别问 题拓展到更一般更现实的中文环境中，并通过深度学习技术有效解决现实环境下变 长唇语序列图片的中文识别问题。本文的主要研究内容包括： 1. 研究以互联网视频为数据源头，自动快速构建中文唇语数据集的方法。互联 网视频中的场景变化较多，与现实环境相符，同时资源获取成本较低，本文 基于此，提出有效的从互联网视频中获取可以用于训练唇读模型的唇部序列 图片和对应的中文内容。 2. 研究中文唇语识别的网络设计。相较于限定实验环境下的唇语识别，现实环 境下的中文唇语识别语料过于丰富，同时语句长度不定，为了解决这两个难 题，本文以深度学习为背景技术，进行端到端的中文唇语识别网络设计，来 针对变长中文唇语识别问题。

基于深度学习的唇语识别研究_吴伟（好）.caj

本文在深度学习技术基础上对唇语进行识别研究，其具体流程及章节安排 如下： 1. 主要介绍了唇语识别技术的相关内容，给出了传统的唇语识别方法与基 于深度学习的唇语识别方法的区别与联系，并针对国内外研究状况进行了分析 介绍。 2. 对唇语识别技术的一些相关理论技术进行了介绍，并且利用唇语识别研 究中的人脸检测，唇部定位，视觉特征和时序特征的提取以及最后的唇动识别 这几个方面来展开介绍，同时也介绍了深度学习方面相关模型与算法。 3. 首先对唇语识别的实现过程做了简要叙述；其次，通过检测人脸与脸部 关键点来对唇部进行检测做了详细介绍；最后，介绍了通过手工设计特征 HOG 特征以及采用 LSTM 网络来对唇语进行识别，并在公开的 GRID 数据集上进行 验证。

基于深度学习的唇语识别数据库构建和算法研究_杨明敏（好）.caj

本文的研究内容主要包括数据库构建和算法研究两个方面，主要内容如下： （1）中文唇语识别数据集 LRW-1000 的构建：考虑到目前关于中文唇语识别的 研究尚无一个基准的数据库，为了给未来中文唇语识别的研究提供一个数据基准， 本课题根据自采的数据，与中科院计算所 VIPL 组合作构建了一个大型的开放场景下 中文唇语识别数据集，并提出了一个完整的构建流程，详细介绍了构建流程中的设 计到的算法原理。 （2）唇语识别算法：提出了一个新的唇语识别算法，来学习从唇语图像序列到 目标文本序列的映射。为了增强网络对短时依赖的建模能力，结合 DenseNet 和时空卷积提出一个新的网络结构，命名为 D3D。然后使用循环神经网络对得到特征的时 序关联进行学习。同时，针对特定的网络结构，设计了一个三段式的训练方法来解 决模型收敛不稳定的问题，该训练方式对于模型性能有显著提升。

基于HMM与深度学习的唇读识别研究_宋文明（好）.caj

尽管国内的唇语识别研究工作已经开展了一段时间，但统一的、标准的用于汉语唇 语识别的语料库还没有建立起来，也没有权威机构提出该方面的建议。因此，本文提出了自己的一套汉语识别的语料架构用于本文涉及到的实验，并在此基础上提出改进方案 以使其适用范围更广。 隐马尔可夫模型的双随机过程与人类语言表达相吻合，这一特点使得该方法成为最 适合唇语识别的方法。本文将对 HMM 方法做深入研究，探究其在唇语识当中的具体适用形式，包括参数设置、模型的类型选择以及训练方法等。

基于深度学习的唇语识别应用的研究与实现_杨帆（好）.caj

唇语识别是计算机视觉领域中一个富有挑战性的研究课题，其主要目的是从 视频中观察人嘴唇运动识别出对应文本内容。然而，由于嘴唇变化局限性和语言 内容丰富性，增加唇语识别难度，使得唇语研究课题发展缓慢。如今，深度学习 在各个领域的发展，给我们足够的信心来完成唇语识别这个任务。不同于传统的 唇语识别中的嘴唇特征识别，在基于深度学习的唇语识别，通常包含使用深度网 络模型对图像的特征提取和理解。