pytorch三层全连接层实现手写字母识别方式
89 浏览量
2020-09-18
03:01:20
上传
评论 2
收藏 90KB PDF 举报
pytorch三层全连接层实现手写字母识别方式三层全连接层实现手写字母识别方式
今天小编就为大家分享一篇pytorch三层全连接层实现手写字母识别方式，具有很好的参考价值，希望对大家有
所帮助。一起跟随小编过来看看吧
先用最简单的三层全连接神经网络，然后添加激活层查看实验结果，最后加上批标准化验证是否有效
首先根据已有的模板定义网络结构首先根据已有的模板定义网络结构SimpleNet，命名为，命名为net.py
import torch
from torch.autograd import Variable
import numpy as np
import matplotlib.pyplot as plt
from torch import nn,optim
from torch.utils.data import DataLoader
from torchvision import datasets,transforms
#定义三层全连接神经网络
class simpleNet(nn.Module):
def __init__(self,in_dim,n_hidden_1,n_hidden_2,out_dim):#输入维度，第一层的神经元个数、第二层的神经元个数，以及第三层的神经元个数
super(simpleNet,self).__init__()
self.layer1=nn.Linear(in_dim,n_hidden_1)
self.layer2=nn.Linear(n_hidden_1,n_hidden_2)
self.layer3=nn.Linear(n_hidden_2,out_dim)
def forward(self,x):
x=self.layer1(x)
x=self.layer2(x)
x=self.layer3(x)
return x
#添加激活函数
class Activation_Net(nn.Module):
def __init__(self,in_dim,n_hidden_1,n_hidden_2,out_dim):
super(NeutalNetwork,self).__init__()
self.layer1=nn.Sequential(#Sequential组合结构
nn.Linear(in_dim,n_hidden_1),nn.ReLU(True))
self.layer2=nn.Sequential(
nn.Linear(n_hidden_1,n_hidden_2),nn.ReLU(True))
self.layer3=nn.Sequential(
nn.Linear(n_hidden_2,out_dim))
def forward(self,x):
x=self.layer1(x)
x=self.layer2(x)
x=self.layer3(x)
return x
#添加批标准化处理模块,皮标准化放在全连接的后面，非线性的前面
class Batch_Net(nn.Module):
def _init__(self,in_dim,n_hidden_1,n_hidden_2,out_dim):
super(Batch_net,self).__init__()
self.layer1=nn.Sequential(nn.Linear(in_dim,n_hidden_1),nn.BatchNormld(n_hidden_1),nn.ReLU(True))
self.layer2=nn.Sequential(nn.Linear(n_hidden_1,n_hidden_2),nn.BatchNormld(n_hidden_2),nn.ReLU(True))
self.layer3=nn.Sequential(nn.Linear(n_hidden_2,out_dim))
def forword(self,x):
x=self.layer1(x)
x=self.layer2(x)
x=self.layer3(x)
return x
训练网络，训练网络，
import torch
from torch.autograd import Variable
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from torch import nn,optim
from torch.utils.data import DataLoader
from torchvision import datasets,transforms
#定义一些超参数
import net
batch_size=64
learning_rate=1e-2
num_epoches=20
#预处理
data_tf=transforms.Compose(
[transforms.ToTensor(),transforms.Normalize([0.5],[0.5])])#将图像转化成tensor，然后继续标准化，就是减均值，除以方差
资源评论
