没有合适的资源?快使用搜索试试~ 我知道了~
18302010018-俞哲轩-lab1-part21
需积分: 0 0 下载量 36 浏览量
2022-08-03
21:54:28
上传
评论
收藏 3.96MB PDF 举报
温馨提示
试读
14页
18302010018-俞哲轩-lab1-part21
资源详情
资源评论
资源推荐
智能系统原理与开发 Lab1-part2
18302010018 俞哲轩
代码基本架构
程序结构
LeNet
AlexNet
Train and Test
改进⽹络
Regularization(L1 & L2 Regularization)
Dropout
Normalization(Local Response Normalization & Batch Normalization)
LeNet vs AlexNet
对⽹络设计的理解
卷积和池化
卷积神经⽹络
代码基本架构
程序结构
File: AlexNet.py 和 LeNet.py 为两个卷积神经⽹络
File: util.py 为⼯具类,包含加载数据等⽅法
File: network.save 为保存的神经⽹络,可直接加载进⾏测试
Directory: develop 、 test 、 train 和 total_train 为⽤于训练和检验的数数据集
LeNet
最传统的卷积神经⽹络,即LeNet,具有七层: 卷积层1 — 池化层1 — 卷积层2 — 池化层2 — 全连接层1
— 全连接层2 — 全连接层3 。
经过对⽹络的精简和改进,我采⽤了五层的设计: 卷积层1 — 池化层1 — 卷积层2 — 池化层2 — 全连接
层 。
class LeNet(nn.Module, ABC):
def __init__(self):
super(LeNet, self).__init__()
self.conv1 = nn.Sequential(
nn.Conv2d(
in_channels=1,
out_channels=16,
kernel_size=5,
stride=1,
padding=2,
), # Convolutional Layers
nn.BatchNorm2d(16), # Batch Normalization
nn.ReLU(), # Activation Function
nn.MaxPool2d(kernel_size=2), # Pooling Layer
)
self.conv2 = nn.Sequential(
nn.Conv2d(
in_channels=16,
out_channels=32,
kernel_size=5,
stride=1,
AlexNet
AlexNet是在LeNet-5的基础上,形成的更深的神经⽹络,同时采⽤了Local Response
Normalization、Dropout和数据增强,以避免模型过拟合。
1. Local Response Normalization:对局部神经元的活动创建竞争机制,使得其中响应⽐较⼤的值
变得相对更⼤,并抑制其他反馈较⼩的神经元,增强了模型的泛化能⼒。
2. Dropout:随机忽略⼀部分神经元,在最后⼏个全连接层使⽤Dropout,以避免模型过拟合。
3. 数据增强:随机从256*256的原始图像中截取224*224⼤⼩的区域(以及⽔平翻转的镜像),相当
于增加了2*(256-224)
2
=2048倍的数据量;进⾏预测时,则是取图⽚的四个⻆加中间共5个位置,并
进⾏左右翻转,⼀共获得10张图⽚,对他们进⾏预测并对10次结果求均值。
padding=2
), # Convolutional Layers
nn.BatchNorm2d(32), # Batch Normalization
nn.ReLU(), # Activation Function
nn.MaxPool2d(kernel_size=2), # Pooling Layer
)
self.output = nn.Sequential(
nn.Dropout(p=0.5), # Dropout
nn.Linear(in_features=32 * 7 * 7, out_features=12), # Fully-Connected
Layer
)
def forward(self, x):
x = self.conv1(x)
x = self.conv2(x)
x = x.view(x.size(0), -1)
output = self.output(x)
return output
剩余13页未读,继续阅读
贼仙呐
- 粉丝: 26
- 资源: 296
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0