CVPR2022 - 重新审视池化：你的感受野不是最理想的.doc
版权申诉
175 浏览量
2022-07-12
16:43:01
上传
评论
收藏 459KB DOC 举报
CVPR2022 | 重新审视池化：你的感受野不是最理想的
前言本文提出了一种简单而有效的动态优化池操作（ Dynamically Optimized Pooling
operation），称为 DynOPool，它通过学习每一层感受野的最佳大小和形状来优化特征映射的
端到端比例因子。
深度神经网络中任何类型的调整大小模块都可以用 DynOPool 操作以最小的成本替换。此
外，DynOPool 通过引入一个限制计算成本的附加损失项来控制模型的复杂性。
欢迎关注 CV 技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、
CV 招聘信息。
论文：https://arxiv.org/abs/2205.15254
代码：未发布
背景
尽管深度神经网络在计算机视觉、自然语言处理、机器人、生物信息学等各种应用中取得
了前所未有的成功，但最优网络结构的设计仍然是一个具有挑战性的问题。而感受野的大小
和形状决定了网络如何聚集本地信息，并对模型的整体性能产生显著影响。神经网络中的许
多组成部分，例如用于卷积和池化运算的内核大小和步长，都会影响感受野的配置。然而，
它们仍然依赖于超参数，现有模型的感受野会导致形状和大小不理想。
本文通过介绍固定大小和形状的传统感受野是次优的问题，讨论了 DynOPool 如何通过
CIFAR-100 上的 VGG-16 玩具实验解决这个问题。
固定大小和形状的传统感受野存在的问题：
1.不对称分布的信息
最佳感受野形状会根据数据集中固有的空间信息不对称性而改变。而大多数情况下固有的
不对称性是不可测量的。此外，通常用于预处理的输入大小调整有时也会导致信息不对称。
在人工设计的网络中，图像的长宽比经常被调整以满足模型的输入规格。然而，这种网络中
的感受野不是用来处理操作的。
资源评论
