在PyTorch中，`.pth`文件是一种常用的权重和模型保存格式。这种文件实际上是Python字典的序列化版本，包含了模型的参数以及其他可能的训练状态，例如优化器（optimizer）的状态和学习率调度器（scheduler）的状态。在某些情况下，我们可能只关心模型的权重，而不希望加载优化器或学习率等其他信息。以下是对`.pth`权重文件使用的一些关键点：
1. **权重文件结构**：
`.pth`文件包含了一个字典，字典的键可以包括`model`（模型的权重）、`optimizer`（优化器的状态）、`scheduler`（学习率调度器的状态）等。这使得我们能够在训练中断后恢复精确的状态，继续训练。
2. **只加载模型权重**：
如果只想加载模型的权重，忽略优化器和调度器的状态，可以通过以下方式操作：
```python
import torch
# 加载原始.pth文件
original = torch.load('path/to/your/checkpoint.pth')
# 创建新字典，只保留模型权重部分
new = {"model": original["model"]}
# 保存新的.pth文件，只包含模型权重
torch.save(new, 'path/to/new/checkpoint.pth')
```
这样创建的新`.pth`文件将只包含模型的权重，加载时不会影响学习率和其他训练设置。
3. **加载权重到模型**：
要将`.pth`文件中的权重加载到模型，首先需要实例化模型，然后调用`load_state_dict`方法：
```python
model = YourModelClass()
state_dict = torch.load('path/to/new/checkpoint.pth')['model']
model.load_state_dict(state_dict)
```
这将把`.pth`文件中的权重加载到模型的参数中。
4. **处理命名不匹配**：
在加载权重时，如果模型结构与权重文件中的结构不完全匹配，可能会出现`KeyError`。这时，可以使用`strict=False`参数来允许不完全匹配：
```python
model.load_state_dict(state_dict, strict=False)
```
但需要注意，这可能导致某些权重未被正确加载。
5. **Finetuning与学习率**：
当进行微调（finetuning）时，如果发现学习率并未按预期改变，可能是因为加载了包含优化器状态的.pth文件。确保在开始新训练之前，重新初始化优化器并设置正确的学习率。
6. **跨设备迁移**：
如果.pth文件是在GPU上保存的，而在CPU上加载，或者反之，需要将模型移动到适当的设备上：
```python
model = model.to(device) # device可以是'cuda'或'cpu'
```
7. **版本兼容性**：
PyTorch的版本更新可能会导致.pth文件格式的变化。确保在保存和加载权重时使用相同版本的PyTorch，以避免可能出现的兼容性问题。
理解这些要点可以帮助你更有效地使用PyTorch的.pth权重文件，无论是保存模型以备后续使用，还是在不同阶段恢复训练，或者进行微调。确保正确处理.pth文件，能够帮助你更灵活地管理模型训练过程。
qq_299348032024-06-09超赞的资源，感谢资源主分享，大家一起进步！
laowan_good_man2024-08-13感谢资源主分享的资源解决了我当下的问题，非常有用的资源。
