深度学习500问-Tan-08第八章 图像分割1

【深度学习500问-Tan-08第八章 图像分割1】 图像分割是计算机视觉领域中的一个重要任务，尤其在深度学习时代，它已经取得了显著的进展。本章主要探讨传统的基于卷积神经网络（CNN）的图像分割方法的不足以及全卷积网络（FCN）的引入来解决这些问题。 传统CNN图像分割方法的主要缺点有以下三点： 1. 存储开销大：使用滑动窗口方法，每个像素周围的小图像块作为CNN输入，导致需要大量存储空间来保存每个窗口的特征。 2. 效率低下：由于相邻像素块的重复性，对每个块单独进行卷积计算，造成计算资源的浪费。 3. 感受野受限：像素块的大小通常较小，使得模型只能捕捉到局部特征，影响分类的准确性。 全卷积网络（FCN）的出现，旨在克服这些局限性。FCN不再依赖于全连接层来获取类别信息，而是通过将全连接层替换为卷积层，保持了空间信息的完整性。在FCN中，网络的输出不再是单个的概率向量，而是一张与输入图像相同尺寸的特征图，每个像素位置对应一个分类概率，实现了像素级别的分类，从而解决了语义分割问题。 FCN的网络结构包括一系列的卷积层和反卷积层（或称为上采样层）。卷积层用于提取特征，反卷积层则用于恢复原始图像的尺寸，保持了空间定位的能力。例如，VGG或ResNet等预训练的分类网络，可以被改造为FCN，通过去掉全连接层，保留最后一层卷积层的特征图，然后通过反卷积来恢复原始尺寸，最后再通过softmax进行像素级别的分类。 全连接层和卷积层之间的转换是可能的，因为它们的基本计算原理相同，只是连接方式不同。全连接层可以看作是每个神经元都与所有输入连接，而卷积层的神经元仅与输入的一小部分区域相连，并且参数共享。全连接层可以通过展平输入并构建大型权重矩阵转化为卷积层，反之亦然，卷积层可以被理解为具有稀疏连接和参数共享的全连接层。 总结来说，FCN通过消除传统CNN在图像分割中的问题，提高了效率和准确性，使得深度学习在像素级别的图像分析中发挥了重要作用。随着后续的U-Net、SegNet等更先进的网络结构的提出，图像分割技术在医学影像分析、自动驾驶、遥感图像处理等多个领域都有广泛的应用。