论文研究-超分辨率重建技术综述 .pdf

所需积分/C币:42 2019-08-15 12:44:22 1.44MB .PDF
283
收藏 收藏
举报

超分辨率重建技术综述,唐庭阁,唐巧玲,超分辨率重建技术是指利用一幅或者一序列的位于同一场景且有相互位移的低分辨率图像中的信息重建出一幅高分辨率图像的技术。该技
国武技论文在线 以上的方法郗是从提丌硬件性能的角度岀发提高图像的分辨率,往往要付出高昂的成 本。为了寻求一种在不增加硬件成本的前提下显著提髙图像分辨率的有效途径,研究者们提 出依靠软件方法的思想,由此,图像超分辨率重建应运而生 上世纪年代, 和 次以单张图像重建的概念和方法提出图像超分 辨率重建的慨念,并且给出了具体的线性外推算法和正弦模板算法。其后几十年中,大批学 者对其进行硏究并提出了多种图像重建算法。虽然这一时期的各种算法都能得到较好的仿真 结果,但是实际应用中由于噪声的影响,导致重建图像没有获得预期效果,因此没有得到 泛的摊广。图像超分辨率重建技术一度被当时的一些学者称为“神话”而遭到放弃。直至 年 和 首次在频域中提出了基于序列图像的超分辨率重建的概念和方法, 实现从无噪声和模糊,存在互位移的降采样序列图像,利用傅里叶变换的移位性质对观测图 像和原始场景的频※域系数进行处坦,最后进行傅里叶反变换重建岀单幅扃分辨夲图像。这 种方法从本质上解决了图像超分辨率重建解不唯一的问题。年代中后期,伴随着计算机, 电子技术和信号处理技术的发,超分辨率重建的研究取得了突破性的进展 图像超分辨率重建技术按照参与重建过程的低分辨率图像数可以分为两大类:单帧图 像重建方法和多帧图像重建方法。单帧图像重建方法是指通过处理一幅低分辨率图像的信息 获得高分辨率图像,这样的重建方法更多被认为是一种图像放大方法。单帧图像重建方法具 有操作简单,运算量小,重建速度快等优点,但由于单帧图像所能提供的信息有限从而导致 重建图像效果一般。为了更好的利用低分辨率图像的信息,人们逐渐将硏究热点转到多帧图 像重建方法。 多帧图像超分辨率重建技术能够最大程度的利用序列低分辨率图像中每帧所能提供 的基本信息和冗余信息,其亘建图像质量好于单帧图像重建。按照图像处理的空间分类,多 帧图像超分辨率重建一般分为频域方法和空域方法两大类。在研究的早期,大量的研究都集 中在频域法。频域法通过消除频域频谱混叠提髙分辨率。频域重建方法理论简单,易于实 现,但频域方法只能应用于全局平移运动和线性空间移不变退化模型,且对空域先验信息的 融合能丿不足,灵活性较差,所以后期的研究重点逐渐从频域转到了空域方法。空域重建方 法就是在空间域中进行图像的超分辨窣重建。空域方法能够将帧间复杂运动,光学模糊,欠 采样等降质因素与图像插值算法,图像滤波算法及迭代运算方法融合在一起,这样使空域重 建方法更加欠活,更广阔的适用范围,且具有较强的结合空域先验知识的能力。 2超分辨率重建基本原理 为了更好地研宄超分辨率重建问题,首先需要建立一个观测模型,该模型能够描述理想 图像与观测图像之间的关系,这样有助于对问题的深入分析与理解,通常是构造一个前向关 系模型,设有幅大小为x的观测图像{y},那么,根据图像的退化模型 有 DBMX+n 这里,y为第幅×的观测图像经字典排序后组成的x 的向量, 如果和分别为水平和垂直方向的下采样因子,那么,x为大小为×的图像 经字典排序后形成的 的向量,M为大小为 的变形矩阵,包含全 局或局部的变换和旋转,B为大小为 的模糊矩阵,D为大小为 国武技论文在线 下采样矩阵,n为×的噪声向量。这样的降质过程可以用图形象表示,最左边的图像 表示理想髙分辨夲图像依次经过变形变换、模糊变换、降采栉变换和添加噪声过程后得到 最右边的观测图像 M B 图2观测模型 建立观测模型后,可以知道若要获得理想的髙分辨率图像ⅹ就要知道DBM,因此 许多超分辨率重建算法都根据观测模型将重建过程划分为三个主要步骤即:()图像配准 也称为运动估计,即从序列低分辨率图像中获得它们之间的运动矢量;()模 糊核函数的估计,即对点扩散函数进行计算合理的点扩散函数的估计对于重建图像的质量 有很大的作用,通常情况下,超分辨率重建算法认为点扩散函数是已知的,但是如果认为点 扩散函数未知,则应将其置」重建过程中同时求解;()插值和重建,即将处班过的序列 低分辨率图像中的信息以某种方式插值到一嘔高分辨率图像中 本文接下来将对超分辨率重建的几种经典方法进行详细阐述,并对他们的优缺点进行讨 论。首先是基于单帧插值的几种方法,然后是多帧图像重建的频率域方法,最后介绍的是超 分辨率重建技术的研究热点,即多帧图像的空余重建方法。 3单帧超分辨率重建 单幅图像的超分辨率重建也称为图像放大,是指利用单幅图像的信息恢复岀在图像获取 过程中丢失的信息,主要是晑频信息。在单帧超分辨率重建领域中,基于插值的方法由 于其运算速度快,操作简单受到了广泛的关注 3.1最近邻插值 最近邻插值算法是一种最简单的插值算法,即待确定点的像素值取决于与它距离最近的 已知像素点的灰度值,如图所小 a b bb bbd CO CC d l 图3最近邻插值示意图 最近邻插值算法计算简单,运算速度快,但是这种插值方法由于插值规律过于简单,在 图像的边缘区域会产生明显的块效应和边缘锯齿现象。 32双线性插值 双线性插值通过对待确定像素值冑围偬素点作双线性运算求待插值点,算法小意图如图 所示,如果用()表小待插值点,点(),(+),(+),(++)是已知 国武技论文在线 像素点,则点()处灰度值()的计算式为: + 十 2) (l,/|1) 佟4双线性插值示意图 与最近邻插值相比,双线性插值虽然运算稍复杂,程序运行时间稍长,但是双线性插值 能够对图像边缘作平滑处理,很好的抑制了块效应和边缘锯齿效应。 33双三次插值 双三次插值又称为立方插值,该插值方法最近邻插值和双线性插值更复杂,是利用待插 值点周围四邻域内的个像素点进行三次插值。双三次插值虽然计算量大,运算时间长 实时性能较差,但是这种算法能够消除块效应和边缘锯齿现象,插值图像的视觉效果明显好 于前两种算法。 图中给出了这三种常用插值算法的对比。 最近邻插值 双线性插值 双三次插值 图5插值算法效果对比 从图中可以看出,最近邻插值的效果边缘较粗糙,存在块效应和锯齿效应,双线性插 值有效旳克服了这种缺点,但是双线性插值的屮滑性较重边缘细节被模糊导致效果变差,而 双三次插值无论是克服锯齿效应还是细节平滑上都优于前两种算法,插值效果最好。 4多帧图像频域超分辨率重建 频域的超分辨窣重建方法起步较早,该类方法采用消除频谱混叠的重建方法,其观测模 型是基于傅里叶变换的位移特性。最早是由和 针对序列低分辨率图像之间的 整体平移运动,利用离散傅里叶变换和连续傅里叶变换之间的平移,混叠性质来描述观测图 像和理想髙分辨率图像在频夲域上的混叠的关系,实际上是在频域内解决图像插值问题,同 吋给出了频域超分辨率重建算法的公式,仅考虑仔在全局平移运动的情況,则经过全局平移 产生的第个位移图像衣示为: 国武技论文在线 根据连续傅立叶变换的平移性质,第个位移图像的连续傅立叶变换可以表小为 位移图像 经过下采样因了和的下采样后,得到低分辨率图像 由此得到高分辨率图像的连续傅立叶变换和采样图像的离散傅立叶变换的关系如下所示 ∑∑ 丌 (5) 式中,为连续傅甲叶变换,γ为离散傅里叶变换,式()的矩阵表示形式如下 Y=ΦX() 式()中,Y为×的列向量,其第个元素是 的离散傅立叶变换;X是 ×的列向量,是 的连续傅立叶变换;①是×的关系矩阵,表示联系混 频的离散傅里叶变换系数和连续傅里叶变换系数的运动估计,可以通过求观测图像间的亚像 素精度级的位栘的方式确定。式()即为频域的测模型,求得的解X就是原始晑分辨率 图像的频率域系数,再对其进行傅里叶反变换就可以实现原始图像的超分辨率重建。频率域 重建方法主要利用以下三个原理 (1)傅里叶变换的平移特性 (2)原始高分辨率图像与低分辨率观测图像离散傅里叶变换之间的频谱混叠关系; 3)假设原始高分辨率图像具有带限特性 下血给出频域超分辨率重建算法流程图: 获取 傅 序列 图像配准 运动 傅立 分 低分 模型 立叶变换 图像重建 叶逆辨率 辨率 估计 变换图像 图像 图6频域重建算法流程 之后的研究中,许多硏究人员都提出了相关的改进算法,如 等针对观测模型中 对空间模糊和观测噪声的忽视,引入加杈最小:乘和迭代方法求解高分辨率图像,在某种程 度上改善了重建效果,但是模糊核函数的引入会使得解不稳定。随后,和等针对 之前算法中假设所有低分辨率图像具有相同的模糊和噪声特性带来的问题,提出一种自适应 模糊核函数的新方法,并且采用 正则化的方法,有效的克服了病态反问题。 和 等为了减少存储需求和降低运算量,提出以离散余弦变换代替离散傅立叶变换的 方法 频率域重建方法只有运算简单,运算复杂度低,容易实现并行处理等优点,但是,由于 该方法的观测模型中没有考虑点扩散函薮并且是以不存在运动模糊和观测噪声的假设为基 础,所以重建效果般。同时,频率域重建方法的观测模型是建立在整体平移的基础上,基 于的理论前提过于理想化,对于应用场合的要求较高,因此只能局限于全局平移运动和线性 空间不变降质模型。 国武技论文在线 5多帧图像空域超分辨率重建 空域重建方法即是在图像的空间或内对观测模型进行定义和求解。空域观测模犁中考虑 到了全局和局部运动,光学模糊,运动模糊,观测暎声等影响重建性能的因素,从这一点来 说,空域重建方法就只有频率域亘建方法不可比拟的优势,并且空域重建方法还只有较强的 包含空域先验知识的能力,因此空域重建方法逐渐成为热点和主流。 51非均匀插值法(ND 非均勺插值法是空域超分辨率重建算法中最直观的方法,非均匀插值法的基本思想是将 原始高分辨率图像看做连续函数,而低分辨率的观测图像刈是在高分辨率图像的迮续函数上 进行位置不均匀的釆样形成的,因此,髙分辨率图像的重建过程就可以看做将低分辨率观测 图像的采样点重新插回原函数。非均匀插值的三个基木步骤是: (1)对序列低分辨率图像进行运动估计,获取配准参数; (②)根据配准参薮,利用非均匀插值算法将序列低分辨率图像插值得到幅髙分辦率图 像 (3)对高分辨率图像进行去模糊与去噪处理,得到最终的重建图像 图形象的展示了非均匀插值算法的流程。 配准 HR网格 去模糊 X 运动 非均匀 去噪 n 估计 插值 图7非均匀插值算法流程 等提出仅考虑低分辨率图像之间的整体位移的方法。 等提出考虑整体平移 和旋转的配准方法插值重建扃分辨率图像,将重建算法分为内插和模拟修正两个阶段。 等利用分块匹配方法改进配准方法,并利用最小二乘法和 迭代法重建图 像,取得了较好的效果。等针对插值过程中形成的边缘模糊现象,提出考虑边缘特性 的改进算法 非均匀插值算法直观易于理解,计算复杂度地,易于应用。但是该方法仅是对现有数据 的简单融合处理,不能得到更多的信息,没有利用先验约束知识,并且在插过程中会引入 额外的误差,无法保证重建算法保持最优解 5.,2凸集投影法(POCS) 算法具有很好的包含空域先验信息的能力,能够将这些先验信息融入到重建过程 中。其基本思想是将高分辨率图像的某些特性,如数据可靠性,能量有界性,平滑性,正定 性等定义为不同的约束凸集合,利用这些凸集合的交集所形成的投影交膂作用,搜索满足所 有约束凸集合的解,重建得到高分辨率图像。 实际操作中,算法将待求高分辨率图像看做成像空间中的未知向量先验信息和约 束条件被措述为成像空间中的一个凸集C, ,,。对于每一个凸集C定义相应的 国武技论文在线 凸集投影算子。利用凸集投影算子对高分辨率图像的初始估计x进行反复迭代投影 获得理想高分辨率图像。通常采用插值法构造高分辨率图像的初始估计ⅹ,利用观测序列 的约束集修正ⅹ,直至满足迭代终止条件。由 算法重建高分辨率图像x的基本表达 式为 下图中给出了 算法和插值算法的重建效果对比。 原图 双线性插值 算法 图8POCS車建算法与插值算法对比 凸集投影算法最早是山和 提出的,算法中考虑了山传感器造成的模糊因 素,随后 等人提出了同时考虑传感器模糊因素,运动模糊因素,噪声模糊因素影响 的 算法取得了更好的效果。在后来的研究中,针对 算法重建图像容易出现边 缘振荡和现象,很多研究人员提出了改进的算法。和 等提出 了引入高阶插值和改进约東集的改进算法,有效抑制了边缘振荡现行。肖创柏等提出改 进系数的 算法有效的抑制了边缘 现象 提出估计了像素位移并 进行运动补偿的盲图像复原算法。陈光盛等将方法和方法结合起米, 获得了较好的效果。口敬北等引入时空联合自适应机制设计自适应残差阈值,有效堿缓 了错误运动估计信息对重建图像的影响 算法由于具有方便的加入各种先验约束信息,细节和边缘的保持能力较强,重建 效果较好,在实际中得到了广泛的应用。但是该算法的重建结果依赖于初始估计,迭代算法 的收敛速度较慢,并目收敛稳定性也有待提高。 53迭代反向投影法(IBP) IBP算法的基本思想是通过对模拟观测图像与实际观测图像的差值经过上采样,反模糊 滤泼,反向位移变换并且取多帧平均值之后,获取误差投影矩阵,进一步通过误差投影矩阵 迭代修正模拟高分辨率图像的初始值,随着淏差收敛,从而实现图像的超分辨率重建过程。 模拟观测图像获取过程,误差投影矩阵和迭代重建过程分别如下所示: y =DBM X (8) E ∑MBDy-y 国武技论文在线 X=x+AE(10) 上式中:ⅹ和ⅹ分别是第次和第+次的重建结果,y为第次重建结果x 进行模拟降质过程得到的模拟观测图像,E是由第次的模拟观测图像与实际观测图像的 差佰获得的投影矩阵,Dˉ是上釆样算子,Bˉ为反模糊算子,通常釆用高通滤波算子,M 代表反向的位移变换过程,是迭代步长。下图中给出了IBP算法和插值算法的重建效果 对比 原图 双线性插值 算法 图9IB重健算法与插值算法对比 算法最早是由 等提出的,随后研究人员基于该经典算法提出了很多改进方 等引入代数层析滤波后向投影算法提高了原算法的性能并将算法推广到 彩色视频的超分辨窣重建领域。吴艳等将投影过程简化为均值投影提高算法的运行速度。 郭伟伟等提岀一种结合频域运动估计和基于面积的加权叠加方法,在运算速度和重建质 量方面都取得了不错的效果 算法的有点是理论直观,容易理解,算法实施简单。但是由于重建问题的病态性, 导致重建算法解不唯一,迭代可能不收敛。 5.4统计复原方法 统计复原方法也称为基于概率的重建方法。基于概率的重建算法可以分为最大后验概卒 方法()和最人似然概率方法( 最人后验概率法的含义就是在已知序列低分辨 率图像的前提下,使得出现高分辨率图像的后验穊率达到最人。而最人似然概率法可认 为是最大后验概率算法在等概率先验模型下的特例。日前硏究广泛的就是最大后验概率方 法。下面给出简单的公式推导 最大后验概率重建算法的任务就是由式()中的观测模型所获得的低分辨率图像重建 得到晑分辨原图像。即使扃分辨率原图像的后验概率达到最大,即 ly 在贝叶斯理论框架下,对()式变形可得: vx (12) 由()式右端分母无关性,可得: 国武技论文在线 VIX 因此,待求解的髙分辨率图像的后验概率等价于低分辨率图像的条件概率和理想高分蓱 率图像的先验概率的乘积。其中yx是低分辨率图像在已知高分辨率图像下的条件概 率,ⅹ是哩想高分辨率图像的先验概率,y是低分辨率图像的后验概率,通常可认 为与求解过稈无关。条件概率通鸴采用高斯模型和马尔可夫模型,而先验概率根据不同的需 要可以选用多种不同模型,通常应选择具有边缘保持能力的凸函数,如T3°模型,BTV 模型等。下面给出了最大后验概率重建算法的试验效果对比 双线性插值 算法 图10MAP算法与插值算法对比 最大后验概率最早由 和 引入以勹尔科夫随机场先验模型为基础的 单帧图像分辨率提升算法中,取得了不错的效果。随后 等将这一理论扩展到视频 序列的超分辨率重建算法。最大后验概率重建算法逐渐受到学者们的关注,目前已经称为最 具有研究前景的类超分辨率重建算法 和 提出种快速算法。为 了解决超分辨率重建的病态问题 等引入 正则化解决超分辨率重建的病 态问题。提出一和自适应确定正则化参数的方法。考虑到场景中的不同目标, 等提出了综合分割,运动佔计和超分辨率重建的框架。 等提出一种预处理采 用频域算法,而重建过程基于框架的重建方法,有效的将空域和频域结合起来。 最大后验概率重建算法的优点是可以在重建过程中直接且方便的加入空域先验知识,保 证最后解的稳定性。冋时算法只有较强的去噪能力,收敛稳定性髙。但是该算法运算速度较 慢,计算复杂度较髙,算法实施没有和简单。且容易导致边缘细节模糊,边缘休 持能力不如 和算法。 55混合MAP/POCS方法 将最人后验概率方法和凸集投影方法相结合的算法是由 等提出的,即同时考虑 序列低分辨率图像的统计特征和凸集约束,在以最大后验概率框架为基础的迭代求解过程中 添加凸集投影算法的各种凸集约束条件,从而获得两种算法各自的优氐。该方法的特点是可 以方便的将各种先验约束知识结合实用,其重建图像的质量优于单独的算法。但是该算法只 有采用梯度下降最优化方法才能保证收敛

...展开详情
试读 14P 论文研究-超分辨率重建技术综述 .pdf
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-超分辨率重建技术综述 .pdf 42积分/C币 立即下载
1/14
论文研究-超分辨率重建技术综述 .pdf第1页
论文研究-超分辨率重建技术综述 .pdf第2页
论文研究-超分辨率重建技术综述 .pdf第3页

试读结束, 可继续读2页

42积分/C币 立即下载