基于深度学习的甲状腺超声图像良恶性诊断算法研究源代码+文档说明（毕业设计Python源码）

# 基于深度学习的甲状腺超声图像良恶性诊断算法研究 ## 一、引言 ### 1. 甲状腺超声图像自动良恶性诊断及其意义 #### 甲状腺结节与甲状腺癌 甲状腺癌（thyroid cancer）是源起甲状腺组织的恶性肿瘤，发病率居头颈部恶性肿瘤前列。其最显著的初期症状及诊断依据为颈部出现甲状腺结节。然而其中绝大多数结节均属良性肿瘤，潜在的癌症病例仅占小部分。而肇因于检测技术的进步，近年来越来越多的甲状腺结节被检测出。由于对良性的病例无需进一步实施细针穿刺活组织检查或手术，因此针对结节进行准确的良恶性分析不仅可以减少病人风险，还可以显著降低医疗成本。 #### 超声图像 目前，在检测甲状腺结节中，超声成像（sonography）是最常用的方法。颈部的多数结构，包括甲状腺在内，都可以在高频超声波下很好地的显示出组织细节。医学超声成像主要是使用探头发射远超人耳可识别范围的超声波，捕捉经人体组织反射的回声，并形成图像。 医学超声成像的优势主要在于其成像的即时性，低成本，以及没有明显长期副作用。由于超声成像可以细致地显示脏器的结构，其已经成为甲状腺结节良恶性检测最不可替代的成像手段。 #### 自动诊断 绝大多数检测出的甲状腺结节都是良性的。传统上，良恶性的分析往往依赖于医生的个人经验，这对医生是一个很大的考验。目前的良恶性分析标准尚不健全，不同回声模式也限制了医疗人员的判断能力。除此之外，逐渐发展的成像手段使得检测出的甲状腺结节日益增多，这也增加了医生的工作量。如此，一个可以基于甲状腺超声图像自动地进行良恶性分析的系统将能够将医生从这一繁重的工作中解放出来，为医生提供客观、可靠的诊疗意见，并降低误诊率。该系统还可以缓解患者的不确定情绪，避免不必要的医学影像测试。 ### 2. 深度学习在甲状腺超声图像良恶性诊断中的应用 #### 深度学习及其在医疗领域的应用概览 深度学习（deep learning）是目前机器学习中较为前沿的研究领域。在进行传统的机器学习时，往往需要人类设计并提供用以描述样本的特征。而深度学习则无需人类提供特征，可以自发地学习出适合问题的特征。 深度神经网络（deep neural network）以人工神经网络为基础，发展出了深度神经网络，卷积神经网络，递归神经网络等一系列框架，在图像、音频、自然语言等的处理中取得了广泛的应用。特别地，通过结合现代的成像技术，深度神经网络在医疗领域亦屡建殊勋。其中，较为显著的是卷积神经网络。 卷积神经网络（convolutional neural network）一般由多个卷积层组成，亦可包含一至多个全连接层。这样的结构使其可以充分利用数据的二维结构。因此，卷积神经网络尤其适合对图像的处理。目前，卷积神经网络在对医学图像的分割，目标的检测和分类中都发挥着重要的作用。 #### 已有的模型和算法概览 下对该方向前人所做的贡献进行综述。 早在2015年，深度神经网络刚开始进入大众视野之时，即有人提出将其应用于甲状腺结节的自动检测和识别。提出这一观点的论文指出（Multi-task Cascade CNN for Automatic TN Detection & Recognition），甲状腺超声成像是对甲状腺区域进行结节诊断的常用临床手段。然而由于对比度低，噪声多，而结节往往呈现多种外形等原因，检测识别甲状腺结节仍十分困难。富有经验的医师可以根据环境特征、局部几何结构、亮度变化等来精准定位甲状腺结节。但这需耗费大量时间，并且可能要求医生有上千个病例的研究经验。因此其提出了一种多任务的层级卷积神经网络，用以甲状腺结节的自动检测和识别。其先对超声图像进行甲状腺的检测，提取出感兴趣区域后再用卷积神经网络对其进行分析，以嵌入各维度的标识特征。该系统对甲状腺结节的检测和识别性能良好。 两年后，又有人提出可以使用卷积神经网络对识别出的甲状腺结节进行分类，亦即良恶性的分析。学界周知的是，超声检测到的甲状腺结节大多数都是良性。若算法可自动地对超声图像进行处理，筛除大部分良性病例，医生的工作将大幅减轻。（TN Classification in Ultrasound Images by Fine-Tuning Deep CNN）一文即指出，可以使用卷积神经网络进行甲状腺超声图像的分类。在图像处理方面，GoogLeNet这一模型具有很好的应用。该文献即对GoogLeNet进行了微调，并基于微调后网络所习得的特征，使用“损失敏感”的随机森林分类器进行分类。这实际上是一种转移学习的思路。 同年的另一篇文章则着眼于解决目前甲状腺超声图像的数据集匮乏的问题，并且也利用了转移学习的思路。学界。目前，甲状腺超声图像的公开面临着法律，伦理，人权隐私等多方面因素的制约，因而可供研究使用的数据并不富足。针对数据集过小这一问题，（An Image Augmentation Method Using CNN for TN Classification using Transfer Learning）一文给出了新的思路。传统上，图像增强主要是针对单个图像进行像素层面的操作——对比度调整、亮度调整、裁切、翻转等。而该文献除去传统思路外还创新性地提出了使用卷积神经网络进行图像增强。数据的质量和数量均得到大的改善。其声称可以将分类准确率提升近8%。 更近的一篇文章（Learning From Weakly-Labeled Clinical Data for Automatic Thyroid Nodule Classification in Ultrasound Images）提出，可以使用半监督学习的方式解决甲状腺超声图像的分类问题。该文献将多示例学习和深度学习相统一。由于多实例学习无需单个示例的标记，因此其可以直接使用未经标记的临床数据。思路是，将一个病患的所有超声图像当作一个“包”，再根据病患的病理学报告对“包”进行标记。随后，再对“包”进行卷积神经网络的学习。这是目前较为先进的甲状腺超声图像分类模型，但是对数据的要求较高。 #### 本文的实现思路 本文着眼于讨论现有的不同卷积神经网络架构对甲状腺超声图像分类这一任务的效果，同时考虑几种可能的图像增强方法，包括现有的方法和新提出的方法，并对它们进行比较和总结。 在神经网络架构上，考虑非深度的普通机器学习算法、普通的卷积神经网络、微调的GoogLeNet。图像增强方法上，首先对原始图像进行传统的图像增强，包括提取裁切、平滑、对比度提升等。之后再使用卷积神经网络或生成对抗网络生成新的示例。 ## 二、理论部分 ### 1. 数据集 本文使用数据集是由国际光学工程学会（Society of Photo-Optical Instrumentation Engineers）提供的一个开源的甲状腺超声图像数据集。该数据集包含480张甲状腺超声图像，分属390个个体，其中良性样本61个，恶性样本288个。除去无效的数据后，共有349张图像，分属298个个体。每个样例包含一张超声图像和以个可扩展标记语言格式的描述文件。描述文件包含样例的编号、年龄、性别、结节成分、回声反射性、边缘状况、有无钙化、TI-RADS评分等信息。其中决定了样例良恶性的信息是TI-RADS评分。 甲状腺影像报告和数据系统（Thyroid Imaging Reporting and Data System, TI-RADS）是一个评分的分类系统，旨在通过超声图像