没有合适的资源?快使用搜索试试~ 我知道了~
采用神经架构搜索的高光谱图像深度学习分类方法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 52 浏览量
2023-02-23
20:22:37
上传
评论
收藏 197KB DOCX 举报
温馨提示
试读
14页
采用神经架构搜索的高光谱图像深度学习分类方法.docx
资源推荐
资源详情
资源评论
摘要
大多数深度网络架构都是人工手动设计的,过程耗费精力且易出错;自动的神经架构搜索和优化学
习方法引起了学者的广泛关注;自动架构工程在高光谱图像分类任务中仍然鲜有研究。基于此,提
出了一种快速且自动化的深度网络模型构建和生成方法,并将其应用于高光谱图像分类任务。实验
表明,相较于传统人工设计的深度卷积网络,该方法的性能更优异。
Abstract
Most deep network architectures are manually designed by experts, and the
procedure is laborious and errorprone. Moreover, more and more scholars pay
attention to the automatic neural architecture search and optimization theory.
However, the focused technique is still rarely studied in the task of hyperspectral
image classification. In this case, we present a fast and automatic method to
construct and generate deep learning models, and apply it to the task of
hyperspectral image classification. Experiments show that the method has better
performance than that of hand-designed deep convolutional networks.
译
关键词
人工智能; 卷积神经网络; 深度学习; 神经架构搜索; 高光谱图像分类
Keywords
artificial intelligence; convolutional neural network; deep learning; neural
architecture search; hyperspectral
译
得益于智能化对地观测技术的发展,高光谱图像分类的智能化和高效化算法实现仍然是需要解决的
关键科学问题
[1]
。深度学习是人工智能研究的热点,在感知任务中取得成功,关键在于特征工程的
自动化,以端到端形式分层提取特征
[2]
。尽管卷积神经网络是一种优异的深度模型,能在图像分类
任务中取得优异性能,但是其性能高度依赖于网络设计,同时深度网络模型难以科学设计
[3]
。目前,
多数复杂神经架构都由人工设计,超参数的设计或选取 都存 在许 多不 确定 性, 也没 有明 显规 律性
[4]
。因此,越来越多学者开始关注自动化深度学习分类模型构建与生成理论与方法的研究。
就传统机器学习模型的自动参数调优而言,其参数调优算法主要有随机搜索和网格搜索
[5, 6]
、遗传
算法
[7, 8]
、贝叶斯优化
[9]
、粒子群优化
[10, 11]
、基于序列模型的优化
[12]
等方法。针对深度网络模型,
自动设计和优化深度网络架构的算法可分为两类:①使用进化学习的算法
[13]
,如大规模进化方法
[14]
、遗传算法
[15]
、笛卡尔遗传规划方法
[16]
、分层进化方法
[17]
等,以上算法都遵循进化算法的流程,
以启发式方式发现最优解来寻找最佳性能的深度网络架构。②采用强化学习的算法
[18]
,如神经架构
搜索方法
[3]
、元学习方法
[19]
、高效率架构搜索方法
[20]
、渐进式架构搜索方法
[17]
、QNN 块设计方法
[21]
等。
神经架构搜索技术作为一种创新的自动机器学习技术,使深度学习模型的构建更加智能化和自动化,
而且相关研究表明,其分类性能已经超越专家手工设计的神经网络架构,但该种技术在高光谱图像
分类任务中鲜有研究
[4, 22]
。因为神经架构搜索会耗用大量计算资源,所以研究者对提高神经架构搜
索的效率越来越重视,以期开发出更优异性能的架构预测方法
[23, 24]
,比如对复杂度不断增长的深度
网络架构采用渐进式搜索方法
[17]
,或是对网络架构采用分层表示
[25]
。此外,自动的神经网络模型
构建与搜索涉及构建与特定数据集有关的最佳神经网络架构,比如本文研究的高光谱图像数据,并
且依赖有限的计算资源,优点是无需进行任何手动精化和改造
[26]
。到目前为止,针对专业领域的高
光谱数据集,深度网络分类模型的自动设计和生成方法还很少在高光谱图像分类任务中得以研究。
因此,就高光谱图像分类任务而言,自动的深度网络架构设计和生成方法如何适应高光谱图像的数
据特性,仍处于研究初期。本文将神经架构搜索、优化、构建和生成技术引入高光谱图像分类任务,
代替以往的专家手工设计和调参,以期在保证分类精度的同时提高深度网络架构设计的智能化和自
动化水平。
1 神经架构搜索
神经架构搜索主要通过控制器在大型计算图中搜索最优子图,以发现最优深度网络架构,即对控制
器进行策略梯度训练,使所选子图在测试样本集上期望的奖励最大化,同时训练所选择子图对应的
深度模型,从而最小化规则的交叉熵损失。神经架构搜索过程见图 1,循环神经网络(recurrent
neural network,RNN)作为控制器,以概率 p 自搜索空间预测网络架构 A,训练具有架构 A 的
孩子网络并收敛,最终达到精度 R。然后利用 R 对 p 的梯度进行处理,从而更新 RNN 控制器。
图 1 神经架构搜索流程
Fig 1 Process of Neural Architecture Search
下载: 原图 | 高精图 | 低精图
神经结构搜索
[2]
作为一种在深度学习领域被广泛应用的深度网络自动构建技术,已被成功应用于图
像分类领域
[3, 17, 20, 25, 27]
。神经架构搜索作为自动机器学习的子技术领域,与元学习和超参优化在技
术、方法上高度重叠,根据维度技术构成可分为 3 部分,见图 2
[3,27]
。
图 2 神经架构搜索构成
Fig 2 Framework of Neural Architecture Search
下载: 原图 | 高精图 | 低精图
神 经 架 构 搜 索 使 用 RNN 来 构 建 、 生 成 深 度 网 络 架 构 的 模 型 描 述 , 并 利 用 强 化 学 习 策 略 来 训 练
RNN
[28]
,以最大限度地提高在测试样本集上的预期精度。神经架构搜索过程中,RNN 控制器可视
为迭代的循环:首先,用控制器对候选的网络架构,即孩子模型进行完全采样;然后,进行收敛性
训练和精度统计,以全面衡量其高光谱分类性能;最后,控制器再将其性能作为引导信号,并重复
多次,直到确定更优的深度网络架构。
2 理论与方法
2.1 搜索空间表示及搜索单元
本文提出的基于神经架构搜索的高光谱图像深度学习分类方法,本质上是基于“研究-探索式”强化
训练的深度网络模型的构建方法,通过参数存取策略使所有子模型共享块权重,以提高深度网络模
型自动构建和生成的效率,避免重复从零到收敛反复训练所有子网。这里,最终迭代的所有模型图
都可视为更大规模图的子图,如图 3 所示,即可用单个有向无环图(directed acyclie graph,DAG)
来表示神经架构搜索的搜索空间
[29]
。DAG 是神经架构搜索空间中所有可能的子模型的叠加表示,
节点可表示局部计算,边可表示信息流。每个节点上的本地计算都有自己对应的参数,且仅在激活
特定计算的时候使用,并允许搜索空间中的所有子模型之间共享参数。这里,终端节点(如节点 3
和节点 4)将不会被 RNN 采样,而且结果是平均的,视为单元的输出。
图 3 多个计算节点的循环单元
Fig 3 Recurrent Units of Multiple Nodes
下载: 原图 | 高精图 | 低精图
搜索单元包括循环单元和卷积单元。循环单元使用有 N 个节点的 DAG 来表示。控制器则是一个
RNN,将决定哪些边需激活以及每个节点上需执行何种计算。搜索空间能设计 RNN 单元的拓扑和
操作。首先,创建一个循环单元,RNN 控制器对 N 个决策块进行采样。然后,采用 N = 4 计算节
点的循环单元并可视化,以说明深度网络架构搜索的机制,x
t
是循环单元的输入信号,h
t − 1
为之前
步骤的输出。这里,对于每一对节点 j < 1,都有独立的参数矩阵 W
j, l
(h)
。通过选择之前的索引,
控制器可决定使用的参数矩阵。因而,在神经架构搜索过程中,所有循环单元能在搜索空间中共享
一组相同的参数。
剩余13页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3945
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功