论文研究-基于各向异性MRF建模的多帧图像变分超分辨率重建 .pdf

所需积分/C币:12 2019-08-18 09:21:43 1.05MB .PDF
6
收藏 收藏
举报

基于各向异性MRF建模的多帧图像变分超分辨率重建,邵文泽,韦志辉,本文在MRF-MAP框架下提出一种新的变分超分辨率图像重建算法.基于国际上近期报道的双边滤波器,研究设计出一种结构自适应的各向异性�
山国武技文在线 http://www.paper.edu.cn 时=mgm( Ep, logPr(g, lu, R)-log Pr(u)-logPr( R) 运动参数模型Pr(R)的选取由具体应用确定1:在信噪比(SNR胶较低或者需要对很多参数 估计的情况下,给定一个有效的先验统计模型是十分有益的,例如基于光流估计的超分辨率 重建;但当信噪比(SNR较高并且仅需要对较少参数估计时不需要预先给定先验模型或者 假定先验模型为常数,如基于刚性图像配准的超分辨率重建山,本文退化模型(2)就是此种 情形.超分辨率图像l的先验模型Pr(u)确定为MRF模型,服从如下Gibs分布 Pr(u) ∑V( 其中,Z为归一化常数,T为关于的温度函数,Vc为团c上关于u的函数,所有团c组 成集合C数据模型Pr(gklu)由随机噪声nk的类型确定;特别地,假设nk为零均值高斯 白噪声时,Pr(gku)即为正态分布,超分辨率重建问题最终转化为如下最小能量泛函 (iR-arg min =:. a()H (R)u-8 +] v. o) 其中,λ(a)为正则化参数因此,(6)式求解的首要问题貮是具体确定图像u的先骀模型. 为此,基于国际上近期矸究的双边滤波器,本文研究设计出了一种结构自适应的各向异 性图像先验模型,对 Farsi等人提出的双边全变差模型以及经典MRF图像先验模型作 了有效的改进 3.本文的结构保持各向异性数字滤波器 为了叙述的方便,分别给出邻域系统和邻域阶的定义如下: 定义1(邻域系统)二维离散网格S上的邻域系统定义为S的子集族N={Na}a∈s,满 足:对于任意a,b∈S, ac N i)beNa台a∈Nb; 其中,子集Na称为网格点a的邻堿,并且对于任意b∈Na,简记为b~a 定义2(邻域阶)邻域Na的阶为s(s≥2),当且仅当集合N1的大小为 +2(s-1)×(1+2(s-1):并且s=1对应最邻近4点邻域, 3.1双边滤波器研究的简要回顾 高斯滤波是一种早为人知的图像平滑过程通过髙斯核函数加权屮均鸰域像素灰度值作 为当前像索灰度值,从昫在提高图像信息相关性的同时,增强图像内容的可视性.众所周知 的是,髙斯滤波在平滑噪声的同时亦模糊了图像中最重要的视觉特征,即边缘信息.事实上, 在提髙图像信息相关性过程中,髙斯滤波忽略了图像信息本身的一个重要特征,即不同性质 的区域信息具有不同强度的相关性:在图像的低对比度区域(光滑区域),像素间的相关性较 强,而在高对比度区域(边缘区域),相关性则较弱为此,研究者们对于边缘保持的非线性数 字滤波器展开大量卓有成效的研究工作 特别地,1998年 Tomasi和 Manduchil提出的双边滤波器近年来倍受国际研究者的广泛 关注1021.22传统数字滤波器1同的是,双边滤波器同时考虑邻域像素与中心像素间 的几何距离度量和灰度相似性度量(两种度量均采用高斯核凶数),对邻域中距离接近和灰度 相似的像索赋予较大权重,反之则赋予较小权重.正是这种双重异性加权机制距离各势异性 山国武技文在线 http://www.paper.edu.cn 与灰庋各向异性)保让双边滤波器的边缘保持性图像平滑双边滤波的具体格式为 ∑,:(x-y)w2((x)-(y),nf(x) 14+(x)= x∈ ws(x-y).wg(u(x)-u(y)) 其中,Ω为数字图像面,x(x1x2)为图像平面中的像素点,邻域yx的阶为s≥3,x-y (x1-y1,x2-2),图数w为儿何距离度量,函数wg为灰度相似性度量,为初始噪声图像 目前,已经有多篇文献报道了关于双边滤波的研究工作具代表性的工作包括:2001 年,Elad2证明双边滤波是基于双边加权思想的最小乘能量泛函在 Jacobi-算法下的单步迭 代格式;2002年, Barash2将双边滤波思想分别引入到自适应平滑和各向异性扩散方程3, 指出双边滤波中作为灰度相似性度量的高斯核权重实际是各向异性扩散方程的一种边缘停 止函数:2004年, Farsi等人基于Ead的工作导出一种双边滤波和范数耦合的双边全变差 模型,同时提出基于双边仝变差模型进行图像的超分辨率重建在国内,2007年邵文泽等人 基于稳健统计理论和双边滤波思想,建立鲁棒旳图像复原统一能量泛函,导岀一种非线性数 宇滤波器的统一设计框架能量泛函充分融合了双边滤波的双重异性加权机制和稳健函数 ( robust function)对边缘奇异点的鲁棒处理机制,具有鲁棒的噪声抑制性和边缘保持能力.在数 字滤波器统一设计框架下,作者对稳健函数的选取与设计进行讨论,提出如下边缘保持能力 更强的稳健函数 (8) 双边滤波器凭借鲁棒的边缘保持性而得到广泛的研究与应用但是,数字图像除了含有 边缘结构以外,还有角型结构区域及尺度较小的纹理结构,双边滤波过程没有充分考虑这些 重要几何结构的保持此外,经过大量的实验发现,双边滤波迭代过程在低对比度区域产生 明显的阶梯效应.事实上,这是由双边滤波本身的性质决定的,关于这一点将在下文详述总 的来说,双边滤波存在以下几点不足: (1)双边滤波在达代过程中的邻域窗∏总是各向同性不变的 (2)双边滤波忽略如下事实:边缘结构区域是11的,而角型结构区域是2D的; (3)双边滤波在低对比度区域产生阶梯效应,尤其迭代次数较多时,导致数字图像自然度的 降低; (4)双边滤波没有考虑低对比度区域的结构保持性,如尺度较小的纹理,导致数字图像的分 片常数性. 基于双边滤波器的上述不足,本文提出一种结构自适应的各向早性数字滤波器,能够在 侏持边缘、角型以及细小结构的冋时,明显减少图像低对比度区域中的阶梯效应. 32结构保持的各向异性数字滤波器 数字图像中的每个像素点都有两重属性,即亮度属性和几何属性亮度属性是指数字图 像的灰度,对于灰度图像而言,每个像素点灰度值的范围都在0到255之间.几何属性是指数 字图像的局部结构,具体而言是指,边缘结构上的像素点具有ID方向性,角型结构上的像 素点具有2D方向性,而平坦区域上的像素点没有方向性;边缘及角型结构上像素点的局部 对比度较大,而平坦区域上像素点的局部对比度较小.为了设计结构保持的各向异性数字滤 波器,希望对局部邻域里亮度属性和几何属性与中心像素点均相似的像素点赋予较大权重, 反之则赋予较小权重:同时,希望平坦区域上像素点的局部邻域阶数大且各向冋性(邻域像 素整体平均),边缘结构上的像索点的局部邻域阶数大且各向异性(边缘像素局部平均),角型 山国利技记文在线 http://www.paper.edu.cn 结构上像素点的局鄣邻域阶数小且各向同性(角型像素局部平均).图1给岀各向异性数宇滤波 器在平坦区域(区域A)、边缘区域(区域B)和角型区域(区域C)的邻域示意图 首先,定义亮度属性的相似性度量.类似双边滤泼器的灰度相似性度量,为了实现各向 异性数字滤波器中亮度属性上的鲁棒局部滤波,根据邵文泽等人2关于非线性数字滤波器 统一设计框架的T作,本文采用稳健函数(8)的影响函数 (influcncc function)作为相似性度量 基函数各冋异性数字滤波器中的亮度属性相似性度量具体表达如下 2((x)-(y)=exp (x)-() a:mx,-,{1(x)-0) (9) 其中,ax∈(01)为控制参数,邻域y~x的阶为s≥3 区域A 区域C 区域B 图1各向异性数字滤波器在不同性质区域的邻域小意图 Fig. I Different neighborhoods of anisotropic digital filtering 由于各向异性数字滤波器邻域窗口的大小及形状依赖于中心像素点所属几何结构的性 质,因此必须估计局部几何结构的方向和属性.目前,文献报道了多种估计局部几何结构方 向的方法例如: Bigun等人的将局部结构方向估计归结为 Fourier变换域中平面最小二乘拟 问题; Weickert2则基于主成分分析(PCA)思想提出种称为结构张量的结构方向估计方法 reng2进一步耦合PCA和MRA思想,提出一种魯棒性更强的方向估计方法通过对各种结构 方向估计方法的综合分析,我们认为 Weickert的结构张量方法具有最佳的时效性能.只体地 说,结构张量方法不仅佔计精度较高,而且时间复杂度较低,同时还能给出几何结构的属性 描述子 结构张量定义为:J2(Vun)=G。*( Vungu)=(Jm)m=12x12,其中vn为图像n经过高斯 滤波的图傻(方差σ>0),增强边缘检测的噪声鲁棒性,诚少噪声对求导运算的影响;对张量 Vlu⑧V进行高斯滤波(方差ρ≥0),以增强结构方向估计的鲁棒性矩阵J对称且半正定, 存在正交单位特征向量,分别记为w和w.其中, J1+(2-√1)2+412)93) =w/|w指向局部几何结构的最大对比度方向,称为主向量;相应地,w-指向局部结构的 最小对比度方向,认为是局部儿何结构的方向它们相应的特征值分别记为和,定义为 )2+4J12)3) (J1+J2-(2-J1)2+4/2)03)这两个值可以作为局部几 何结构的属性描述了:在平滑区域,μ≈μ-≈0;在边缘区域,u>μ≈0;在角型区域, 21>0.因此,le(x)=(x)-u-(x)可以作为像素点的局部对比度,其中x为图像平面中的 像素点 由上文知,几何属性的一个重要方面是图像像素点的局部对比度.在低对比度区域尤其是 含有噪声的平坦区域,采用局部对比度l(x)=(x)-μ(x)|指小半坦区域比起亮度属性而言对 山国利技记文在线 http://www.paper.edu.cn 噪声的敏感性较弱因此,通过融合图像局部对比度的相似性度量,能够调节增大各向异性 数字滤波器在低对比度区域中各个邻域像素的权重,从而减少阶梯效应的产生.类似(9)式, 为了实现局部对比度上的鲁棒局部滤波,各向异性数字滤波器中的局部对比度相似性度量只 体表达如下 wie(lc(r)Ic(v))-exp lc(x)-lc(y) Inax- x llc(x)-ic(v) (10) 其中,a∈(0,1)为控制参数,邻域y~x的阶为s≥3 为了实现如图1所小的各向异性数字滤波,需要定义各向异性的窗口函数本文定义如下 形式的形状张量D D 及窗口函数w w(x-y)=exp(-(x-y)T D,(x-y)) 其中,an控制w方向窗口函数的尺寸,o控制w方向窗口函数的尺寸,分别给出on和on 的定义如下 (1 IIr aem'maxrenlem(x) 2Ll⊥ σn(x)=n(x) (13) 其中,aom∈(0,1)为控制参数,邻域y~x的阶为s≥3,r=s-1.此外,cm(x)表示角形的强度度 量,根据Shao等人基于角形增强PDE的图像放大工作,木文给出cm(x)的定义如下 cm(x)=V (wwT).Vu (14) 上式定义的角形强度度量具有如下特点:在角形结构上取值较大,在边缘结构及平坦区域取 值趋于零,同时对噪声鲁棒.因此,σ。在角形区域的取值较小(<r),而在边缘结构及平坦区 域上的取值较大(≈r)另一方面,根据特征值和的性质以及(12)、(13)式,an在边缘结 构及角形区域上的取值较小(<r),而在平坦上的取值较大(≈r).综上所述,(11)式定义的窗 口函数具备各向异性,满足如图所示的各向异性数字滤波的要求 图2从左到右依次是:噪声图像,基于双边滤波器的去噪图像,基于结构保持各向异性滤波器的去嗓图像 Fig 2 From left to right: noisy image, and denoised image respectively by bilateral filtering and anisotropic digital filtering 6 山国利技记文在线 http://www.paper.edu.cn 结合(9)、(10)、(11),给出各向异性数字滤波器的定义如下 ∑.m(x-y)w2(r(x)-n(y)w(le(x)-l(y)n(x) Por s(x-y). wg(u(x)-u'(y)) wi(le(x)-lci(nDEEQ (15 可见,(15)式同时考虑图像像素点的亮度属性、结构属性以及局部对比度,是一种基于结构 相似度的数字滤波器特别地,当窗口函数n为各向同性高斯函数并且不考虑局部对比度的 相似度量时,(15)式退化为双边滤波器 图2分别给出基于双边滤波器和各向异性滤波器的噪声图像去噪结果,迭代次数均取 10,邻域阶数均取3.图2(左)为高斯白噪声退化的“ woman`图像,噪声方差为10图2(中)为双 边滤波器的滤波结果双边滤波器能够较好地抑制平坦区域的噪声,冋时能够保持强边缘结 构.然而,过分平滑弱边缘等小尺度结构,导致数字图像的分片常薮性;另外,人脸及胳膊 区域存在眀显的阶梯效应是这种分片常数性和阶梯效应使得图像的自然度显著降低.图 2(右)为各向异性滤波器的滤波结果.各向异性滤波器能够在保持强边缘、角型以及弱边缘结 构的同时较好地扣制噪声,使得图像低对比度区域中的阶梯效应明显减少,图像的自然度 也得到较好的保持.因此,本文的结构保持各向异性数字滤波器是对双边滤波器的一种有效 发展 4.各向异性图像先验模型及边缘增强超分辨率重建算法 41各向异性图像先验模型的提出 假设(15式迭代过程收敛,即满足im,→u4(x)=v(x),Wx∈Ω,从而下式成立 ∑(x-y)w2((x)-(y),vg((x)-a(y)(x) u(r) ∑n(x-y)(c(x)-l(y)"(a(x)-a(y) (1 将(16)式开,得 ∑w(x-y)(c(x)-l()w(a(x)-()((x)-n(y)=0 (17) 令如(x)取为(8)式,则(17式可以近似看作下列最小能量泛函的极值表达 f= arg min.{2∑,m(x=),w(-1(),(0-(y (1 鉴于各向异性数字滤波器(15)在图像去噪中优良的结构保持性,本文提出如下各向异性图像 先验模型 Pr()z exp T H(u (19) 其中,H(u)定义为 H(n)-∑∑:(xy)w((x)l(y)p( (20) 考虑最小能量泛函(18)式的求解根据半二次正则化理论2,当p(x)取为(8)式时,(18)式 的求解问题转化为如下等价的最小能量泛函 (x-y),w((x)-c(y)·{(b,)+b(t(x)-y)2 其中,函数是关于b的严格单调递减凸函数,并且b=d(l2-u1)(2(u1-u)根据最速下 降法以及v(x)=p(x)/x,(21)式的迭代求解格式如下 n(x)=n(x)+z∑,(x-y)wm(e(x)-le(y)w2(n(x)-a()(r(x)-(y)(2) 其中,r为迭代步长. 7 山国利技记文在线 http:/www.paper.edu.cn 特别地,当y~x为像素点x的最邻近4点邻域,同时不考虑局部对比度的相似度量吋,(22) 式退化为 n"(x)=n(x)+z·∑,wg(r(x)-(y)(a(x)-r() 事实上,(23)式是卜述形式非线性PDE的数值求解格式 =v(r2(V) (24) 该PDE最初 Perona等人在1990年针对各向同性的热扩散方程提出,以实现边缘保持 的图像去噪然而,众所周知的是,PDE(24)在低对比度区域容易产生阶梯效应,导致数字图 像自然度的降低;同时,没有考虑低对比度区域中的结构保持性,如尺度较小的纹理,导致 数字图像的分片常数性非线性PDE(24)产生阶梯效应一个重要的原因在于,(24)式木质上是 个扩散一增强型PDE,会在梯度相对较大的像索点处起到冲击滤波的效果,尤其对」边 缘结构.对于双边滤波器而言,每个像素点的邻域阶数s≥3,使得上述阶梯效应和分片常数 性更为眀显.当钶个像素点的邻域阶数s≤2,不考虑几何距离度量和对比度相似性度量,同 时灰度相似性度量取为稳健函数时,(21)式退化为经典MRF模型·4:64.当每个像素点的邻 域阶数s>3,窗口函数m取为各向同性的,灰度相似性度量w取为7范数,同时不考虑局 部对比度的相似度量时,(21)式退化为 Farsi等人提出的双边全变差模型该模型秉承双 边滤波器,同样存在上述不足对于本文的各向异性图像先验模型,虽然在一定程度上继承 了非线性PDE(24)的边缘增强性,然而由于该模型融合了图像局部对比度的相似性度量,所 以能够在保持图像重要几何结构的同时,明显减少低对比度区域上阶梯效应的产生. 4,2基亍各向异性模型的边缘增强超分辨率重建 将各向异性图像先验模型(19)代入最小能量泛函(6),得 则-0m((RF+2x,(yw(6(D(m((2 将(25)式简记为 {a足=gmn{2ELmn1]+E (26) 其中,ED{uR]为数据项,El以为正则项由于各向异性图像先验模型(19)在一定程度上继承 了非线性PD(24)的边缘增强性,因此对于传感器模糊情形下的超分辨率重建问题(2),最小 能量泛函(26)依然能够保持超分辨率重建图像的清晰度.本文通过循环迭代的方式,同时佔计 运动参数R和高分辨率图像u为了快速有效地估计运动参数R,本文采用 Keren等人18提 出的基于 Taloy级数展开的图像配准算法;给定估计的运动参数R,采用下述迭代格式估计 高分辨率图像v n“()(x)+r:{-A.V,Rl.-E} (27) 其中 VE,l=∑(H)g-H,a (28) VE(1=∑m(x-y),w2(e(x)-le(y)w2(x)-(y)((x)-n(y) (29) 下白给出本文超分辨率重建算法的只体流程: 1.输入低分辨率图像序列及初始图像n(x),令κ=0,给定参数ρ,σ,κ,s,α,a灬,α灬,λ,T的取值, 其中T为选代次数 2.估计上采样的低分辨率图像序列相对于参考图像u的运动参数R; 山国利技记文在线 http:/www.paper.edu.cn 3.计算数据梯度项EDu',R1; 4.计算结构张量J(Vu)=G*(VuVu),分别计算(9)、(10)、(1) 5.计算正则梯度项VE[n]; 6.计算迭代格式(27),估计高分辨率图像u; 7.如杲1<T,则t=t+1,转至第2步;否则,转至8步; 8.输出超分辨率重建图像n 5.实验结果与分析 本文分别从图像的视觉效果和峰佰信噪比(PSNR)两个角度评价超分辨率重建算法的性 能优劣,实现算法包括基于双边滤波方法、经典MRF模型方法、木文各向异性建模方法.在 基于双边滤波方法中,邻域阶数取为3,儿何距离度量取为各向同性高斯凶薮,灰度相似性 度量取为稳健函数(8),不考虑局部对比度的相似性庋量;在经典MRF模型方法中,邻域阶 数取为2,不考虑几何距离度量和对比度相似性度量,灰度相似性度量取为稳健函数(8):此 外,本文各向异性建模方法中的邻域阶数取为3.所有计算均在 MATLAB70平台下运行 根据退化模型(2),利用“ woman”高分辨率图像生成一个具有相对平移关系的16帧非冗余 低分辨率图像序列,下采样因子为4,噪声方差为3.仟取10帧进行超分辨率重建,结果如图3 所示图3(左上是双三次插佰方法结果(PSNR=246531),重建图像过分模糊,图像局部结构 車丟失;图3(右上)是基于双边滤波方法结果(PSNR=27.6895),重建图像半坦区域的噪声 被较好地抑制,强边缘结枃被较好地保持,但是弱边缘结枃严重丢失,同时阶梯效应明显; 图3(左下)是经典MRF模型方法结果(PSNR=285767),相对图3(左上)而言,强边缘和弱边缘 结构都被较好地保持,然而平坦区域的噪声使得重建图像不够光滑,同时分片常数性降低了 图像的自然度;图3(右下)是各向异性建模方结果(PSNR=29.6652),相对图3(左上)和图3(右 下)而言,强边缘和弱边缘结构都较好地得到保持,平坦区域的噪声得到较好地滤除,同时 图像具有较好的自然度,此外,图4(左)给出10帧低分辨率图像、不同噪声方差情形下不同算 法的超分辨率重建图像的PSNR偵比较结果:图4(右)给出噪声方差为3、不同咴数低分辨率 图像情形下不同算法的超分辨率重建图像的PSNR偵比较结果.实验结果均显示本文算法的 有效性.在本组实验中,各向异性建模方法参数取值为 p=2,a=1.5,x=0.25,s=3,a2=0.25=05am=0.125.=0.3=15;此外,初始图像n(x)取为参 考帧的双线性插值图像 山国利技记文在线 http:/www.paper.edu.cn 佟3从左到右从上到下排列的超分辨率重建图像依次由下列算法生成:双二次插值方法(24.6531),双边 滤波建模方法(276895),终典MRF建模方法(28.5767).各问异性滤波建模方法(29.6652) Fig 3 Super-resolved images obtained respectively by Bicubic interpolation(PSNR-246531), modeling based on bilateral filtering(PSNR-276895), classic MRF modeling(PSNR-285767), and anisotropic MRF modeling(PS R-296652) PSNR V I PSNR V Frame 231 日 -双边浪 刘边欽 ◆…-本史方 本文方法 Numb 柊4不同情形下各种算法的超分辨率重建佟像的PSNR值比较结果.左:10帧低分辨率图像、不同噪声 方差;右:噪声方差为3、不同唢数低分辨率图像 Fig 4 Comparison of PSNR values corresponding to different algorithms in different cases 10

...展开详情
试读 13P 论文研究-基于各向异性MRF建模的多帧图像变分超分辨率重建 .pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
weixin_39840924 如果觉得有用,不妨留言支持一下
2019-08-18
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

    成功上传501个资源即可获取
关注 私信 TA的资源
上传资源赚积分or赚钱
    最新推荐
    论文研究-基于各向异性MRF建模的多帧图像变分超分辨率重建 .pdf 12积分/C币 立即下载
    1/13
    论文研究-基于各向异性MRF建模的多帧图像变分超分辨率重建 .pdf第1页
    论文研究-基于各向异性MRF建模的多帧图像变分超分辨率重建 .pdf第2页
    论文研究-基于各向异性MRF建模的多帧图像变分超分辨率重建 .pdf第3页

    试读结束, 可继续读1页

    12积分/C币 立即下载 >