《深度学习入门之PyTorch》阅读代码.rar

#简单的多层卷积神经网络 import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN,self).__init__() layer1 = nn.Sequential() layer1.add_module('conv1',nn.Conv2d(3,32,3,1,padding=1)) layer1.add_module('relu1',nn.ReLU(True)) layer1.add_module('pool1',nn.MaxPool2d(2,2)) self.layer1 = layer1 layer2 = nn.Sequential() layer2.add_module('conv2',nn.Conv2d(32,64,3,1,padding=1)) layer2.add_module('relu2',nn.ReLU(True)) layer2.add_module('pool2',nn.MaxPool2d(2,2)) self.layer2 = layer2 layer3 = nn.Sequential() layer3.add_module('conv3',nn.Conv2d(64,128,3,1,padding=1)) layer3.add_module('relu3',nn.ReLU(True)) layer3.add_module('pool3',nn.MaxPool2d(2,2)) self.layer3 = layer3 layer4 = nn.Sequential() layer4.add_module('fc1',nn.Linear(2048,512)) layer4.add_module('fc_relu1',nn.ReLU(True)) layer4.add_module('fc2',nn.Linear(512,64)) layer4.add_module('fc_relu2',nn.ReLU(True)) layer4.add_module('fc3',nn.Linear(64,10)) self.layer4 = layer4 def forward(self,x): x = self.layer1(x) x = self.layer2(x) x = self.layer3(x) fc_input = x.view(x.size(0),-1) fc_out = self.layer4(fc_input) return fc_out model = SimpleCNN() print(model) # #只提取模型的前两层 # new_model = nn.Sequential(*list(model.children())[:2]) # print(new_model) # #提取出模型中所有的卷积层 # conv_model = nn.Sequential() # for layer in model.named_modules(): # if isinstance(layer[1],nn.Conv2d): # conv_model.add_module(layer[0],layer[1])#报错，因为名称为layer1.conv1包含. # print(conv_model) # # #children()会返回下一级模块的迭代器(layer1)，而不会返回内部的东西(layer1.conv1) # #modules()会返回模型中所有模块的迭代器 # #named_children()，named_modules()返回模快的迭代器及网络层的名字 for param in model.named_parameters(): print(param[0]) for m in model.modules(): if isinstance(m,nn.Conv2d): nn.init.normal_(m.weight.data)#nn.init.normal 函数通过从具有指定均值和标准差的正态分布中采样值来初始化张量中的权重。这有助于打破权重的对称性，并防止神经网络在训练开始时陷入局部极小值。 nn.init.xavier_normal_(m.weight.data)#Xavier 正态初始化是一种权重初始化方案，旨��解决神经网络中的梯度消失和梯度爆炸问题。它通过将权重的方差初始化为 2 / (n_in + n_out) 来实现，其中 n_in 是输入特征的数量，n_out 是输出特征的数量。 nn.init.kaiming_normal_(m.weight.data)#Kaiming 正态初始化是一种权重初始化方案，旨在解决神经网络中的梯度消失和梯度爆炸问题。它通过将权重的方差初始化为 2 / (n_out * (kernel_size ** 2)) 来实现，其中 n_out 是输出特征的数量，kernel_size 是卷积核的大小。 m.bias.data.fill_(0)#fill_ 函数��张量中的所有元素替换为给定的值。在本例中，我们将偏差张量中的所有元素替换为 0。这通常在初始化神经网络或重置其权重时使用。 elif isinstance(m,nn.Linear): m.weight.data.normal_()#m.weight.data.normal_() 是 PyTorch 中的一个函数，用于将模型 m 的权重张量中的所有元素替换为从标准正态分布中采样的值。 #named_parameters()给出网络层的名字和参数的迭代器 #paramters()会给出一个网络的全部参数的迭代器