浅谈Pytorch torch.optim优化器个性化的使用

在深度学习中，优化器是训练神经网络模型的关键组成部分，它负责更新模型参数以最小化损失函数。PyTorch中的`torch.optim`模块提供了一系列常见的优化算法，如SGD（随机梯度下降）、Adam、Adagrad等。本文将探讨如何在PyTorch中实现`torch.optim`优化器的个性化使用，以便更好地控制模型训练过程。 我们引入一个简单的LeNet网络模型作为示例。LeNet是一种经典的卷积神经网络，用于图像分类任务。在PyTorch中，我们可以这样定义： ```python import torch as t from torch import nn class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 6, 5), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(6, 16, 5), nn.ReLU(), nn.MaxPool2d(2, 2) ) self.classifier = nn.Sequential( nn.Linear(16 * 5 * 5, 120), nn.ReLU(), nn.Linear(120, 84), nn.ReLU(), nn.Linear(84, 10) ) def forward(self, x): x = self.features(x) x = x.view(-1, 16 * 5 * 5) x = self.classifier(x) return x ``` 接下来，我们介绍优化器的基本使用方法。通常，我们会选择一个优化器，如SGD（随机梯度下降），并传入模型的参数以及学习率。以下是如何创建一个SGD优化器： ```python optimizer = optim.SGD(params=net.parameters(), lr=0.01) ``` 在每次训练迭代中，我们需要清空梯度，执行前向传播，计算损失，反向传播，最后更新参数： ```python optimizer.zero_grad() input_ = t.autograd.Variable(t.randn(1, 3, 32, 32)) output = net(input_) loss = output.loss # 假设loss是我们的损失函数 loss.backward() optimizer.step() ``` 然而，有时我们可能需要为网络的不同部分设置不同的学习率。例如，在迁移学习或微调（finetune）场景中，我们可能希望保持基础模型的学习率较低，而只提高新添加的分类器部分的学习率。在PyTorch中，可以通过以下方式实现： 1. 在构建网络时划分参数组： ```python optimizer = optim.SGD([ {'params': net.features.parameters()}, {'params': net.classifier.parameters(), 'lr': 0.001} ], lr=0.0001) ``` 2. 通过网络层对象来分组参数： ```python special_layers = nn.ModuleList([net.classifier[0], net.classifier[3]]) special_layers_params = list(map(id, special_layers.parameters())) base_params = filter(lambda p: id(p) not in special_layers_params, net.parameters()) optimizer = optim.SGD([ {'params': base_params}, {'params': special_layers.parameters(), 'lr': 0.01} ], lr=0.001) ``` 此外，我们还可以在训练过程中动态调整学习率。例如，可以使用学习率衰减策略，如指数衰减、余弦退火等。在PyTorch中，可以创建一个新的优化器或直接修改`optimizer.param_groups`中的学习率。然而，创建新优化器会初始化动量等状态信息，可能会影响使用动量的优化器的收敛。 ```python # 修改当前optimizer的学习率 for param_group in optimizer.param_groups: param_group['lr'] *= 0.1 # 或者创建新的optimizer new_optimizer = optim.SGD(net.parameters(), lr=optimizer.param_groups[0]['lr'] * 0.1) ``` PyTorch的`torch.optim`模块提供了高度的灵活性，允许我们根据实际需求定制优化器的配置。这包括为不同网络部分设置不同的学习率，以及在训练过程中动态调整学习率，从而优化模型的训练效果。理解和掌握这些技巧对于提升模型性能和加速训练过程至关重要。