finetune分为全局finetune和局部finetune。首先介绍一下局部finetune步骤:
1.固定参数
for name, child in model.named_children():
for param in child.parameters():
param.requires_grad = False
后,只传入 需要反传的参数,否则会报错
filter(lambda param: param.requires_grad, model.parameters())
2.调低学习率,加快衰减
finetune是在预训练模型上进行微调,学习速率不能太
- 1
- 2
前往页