使用PyTorch执行特征提取和微调的迁移学习来进行图像分类

# flower_photos: 5种花朵原始图片集（雏菊、蒲公英、玫瑰、向日葵、郁金香） # config.py 配置文件将存储驱动程序脚本中使用的重要变量和参数。与其在每个脚本中重新定义它们只需在这里定义一次（从而使代码更干净、更容易阅读） # create_dataloader.py help函数，Dataloader加载flower_photos # output/ 存放训练损失图及模型 # build_dataset.py 根据flower_photos目录构建数据集目录，将创建特殊的子目录来存储训练和验证拆分，允许PyTorch的ImageFolder脚本来解析目录并训练模型 # train_feature_extraction.py 执行特征提取的迁移学习，并把模型存储磁盘 # fine_tune.py 执行基于微调的迁移学习，并把模型存储磁盘 # inference.py 接受经过训练的PyTorch模型，并使用它对输入的花朵图像进行预测 # 要实现的第一种迁移学习方法是特征提取 # 通过特征提取进行迁移学习的工作原理如下： # 采用预先训练的CNN（通常在ImageNet数据集上），从CNN上卸下FC（Fully Connection）层头，将网络主体的输出视为空间维度为M×N×C的任意特征提取器 # 分类器有俩个选择： # 采用标准的逻辑回归分类器（如scikit学习库中的分类器），并根据每个图像中提取的特征对其进行训练。或者，更简单地说，将softmax分类器放在网络主体的顶部， # 任何一种选择都是可行的，而且或多或少与另一种“相同”。 # 当提取的特征数据集适合机器的RAM时，第一个选项非常有效。这样可以加载整个数据集，实例化逻辑回归分类器模型的一个实例，然后对其进行训练。 # 当数据集太大而无法放入机器内存时，就会出现问题。当这种情况发生时，你可以使用类似在线学习的方法来训练你的逻辑回归分类器，但这只是引入了另一组库和依赖项。 # 相反，更容易的是利用PyTorch的强大功能，在提取的特征之上创建一个类似逻辑回归的分类器，然后使用PyTorch函数对其进行训练。 # 训练特征提取模型，执行该脚本后，将在输出目录中找到一个名为warmup_model.pth的文件——该文件是序列化PyTorch模型，然后可以用于在inference.py脚本中进行预测。 # 总的训练时间只有5分钟多一点，获得了84.26%的训练准确率和87.74%的验证准确率。 # USAGE # python train_feature_extraction.py # 导入必要的包 from pyimagesearch import config from pyimagesearch import create_dataloaders # 从输入数据集目录创建PyTorch DataLoader的实例 from imutils import paths from torchvision.models import resnet50 # 要使用的ImageNet的预训练模型 from torchvision import transforms # 允许定义一组预处理和/或数据增强，将依次应用于输入图像 from tqdm import tqdm # 用于创建格式良好的进度条的Python库 from torch import nn # 包含PyTorch的神经网络类和函数 import matplotlib.pyplot as plt import numpy as np import torch # 包含PyTorch的神经网络类和函数 import time # 定义增强管道（使用Compose函数构建数据处理/扩充步骤，该函数位于PyTorch的transforms子模块中。 # 首先创建一个trainTransform，在给定输入图像的情况下，它将： # 随机调整图像大小并将其裁剪为image_SIZE尺寸 # 随机执行水平翻转 # 在[-90，90]范围内随机执行旋转 # 将生成的图像转换为PyTorch张量 # 执行平均值减法和缩放，同样的用于验证数据集的 valTransform # 请注意，我们不在验证转换器中执行数据扩充——没有必要对验证数据执行数据扩充。 # 创建了训练和验证Compose对象后，让我们应用get_datalader函数：） trainTansform = transforms.Compose([ transforms.RandomResizedCrop(config.IMAGE_SIZE), transforms.RandomHorizontalFlip(), transforms.RandomRotation(90), transforms.ToTensor(), transforms.Normalize(mean=config.MEAN, std=config.STD) ]) valTransform = transforms.Compose([ transforms.Resize((config.IMAGE_SIZE, config.IMAGE_SIZE)), transforms.ToTensor(), transforms.Normalize(mean=config.MEAN, std=config.STD) ]) # 创建DataLoader (trainDS, trainLoader) = create_dataloaders.get_dataloader(config.TRAIN, transforms=trainTansform, batchSize=config.FEATURE_EXTRACTION_BATCH_SIZE) (valDS, valLoader) = create_dataloaders.get_dataloader(config.VAL, transforms=valTransform, batchSize=config.FEATURE_EXTRACTION_BATCH_SIZE, shuffle=False) # 通过特征提取为迁移学习准备ResNet50模型 # 加载预训练的ImageNet ResNet50 model model = resnet50(pretrained=True) # 由于使用ResNet50模型作为特征提取器，设置其参数为不可训练（默认情况下是可训练的） for param in model.parameters(): param.requires_grad = False # 将一个新的分类顶部附加到我们的特征提取器并弹出它，连接到当前设备 # 创建一个由单个FC层组成的新FC层头。实际上当使用分类交叉熵损失进行训练时，这一层将作为代理softmax分类器。 # 然后，这个新层被附加到网络主体，模型本身被移动到设备（CPU或GPU）。 modelOutputFeats = model.fc.in_features model.fc = nn.Linear(modelOutputFeats, len(trainDS.classes)) model = model.to(config.DEVICE) # 接下来，初始化损失函数和优化方法（注意只是向优化器提供分类顶部的参数） lossFunc = nn.CrossEntropyLoss() opt = torch.optim.Adam(model.fc.parameters(), lr=config.LR) # 计算训练/验证集的每一个纪元步数 trainSteps = len(trainDS) // config.FEATURE_EXTRACTION_BATCH_SIZE valSteps = len(valDS) // config.FEATURE_EXTRACTION_BATCH_SIZE # 初始化字典以存储训练历史 H = {"train_loss": [], "train_acc": [], "val_loss": [], "val_acc": []} # 遍历纪元 print("[INFO] training the network...") startTime = time.time() for e in tqdm(range(config.EPOCHS)): # 设置模型训练模式 model.train() # 初始化训练/验证损失 totalTrainLoss = 0 totalValLoss = 0 # 初始化训练/验证集中的预测正确个数 trainCorrect = 0 valCorrect = 0 # 遍历训练集 # 对于trainLoader中的每一批数据，将图像和类标签移动到CPU/GPU、对数据进行预测、计算损失，计算梯度，更新模型权重，并将梯度归零 # 累积在该时期的总训练损失、计算正确预测的总数 for (i, (x, y)) in enumerate(trainLoader): # 传递输入到设备 (x, y) = (x.to(config.DEVICE), y.to(config.DEVICE)) # 向前传递并计算训练损失 pred = model(x) loss = lossFunc(pred, y) # 计算损失梯度 loss.backward() # 检查是否正在更新模型参数，如果是 更新它们，并将之前累积的梯度清零 if (i + 2) % 2 == 0: opt.step() opt.zero_grad() # 将损失加上迄今为止的总训练损失，同样累加正确预测的数量 totalTrainLoss += loss trainCorrect += (pred.argmax(1) == y).type( torch.float).sum().item() # 关闭autograd并将模型置于评估模式中——这是使用PyTorch进行评估时的要求 # switch off autograd with torch.no_grad(): # 设置模型为评估模式 model.eval() # 在valLoader中循环所有数据点，对它们进行预测，并计算总损失和正确验证预测的数量。 # 遍历验证集 for (x, y) in valLoader: # �