没有合适的资源?快使用搜索试试~ 我知道了~
基于一致性敏感哈希块匹配的HDR图像去伪影融合方法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 21 浏览量
2023-02-23
20:16:40
上传
评论
收藏 356KB DOCX 举报
温馨提示
试读
24页
基于一致性敏感哈希块匹配的HDR图像去伪影融合方法.docx
资源推荐
资源详情
资源评论
真实场景中具有丰富的色彩, 其亮度动态范围的最高与最低比值高达 10
8
: 1
[1]
.但传统数
字图像采集设备因受到了图像传感器和 A/D 转换器等的制约, 使得采集到的数字图像的动
态范围只有 10
2
: 1~10
3
: 1, 无法反映出真实场景中的光照变化情况, 从而导致丢失了场景中
的大部分亮度信息.故高动态范围(High dynamic range, HDR)图像成像和显示技术应运而生.
HDR 图像能够覆盖场景动态范围的所有亮度信息, 其中每个像素都真实地记录了场景中细
微的照度变化, 这对于计算机理解图像是极有帮助的.由于 HDR 图像存储了真实场景中照
度的相关信息, 因此也被称之为光辐射图(Radiance map)
[2]
. HDR 图像可在 HDR 显示设备上
重现, 也可通过色调映射的方法在 LDR (Low dynamic range)显示设备上重现
[3]
.
目前, HDR 图像的获取途径主要分为硬件和软件两种方式.其中, 硬件方式主要是提高
图像传感器的动态范围, 但效果有限且代价过高.故当前普遍采用融合多次不同曝光时间的
低动态范围图像序列, 即多曝光图像融合(Multi-exposure fusion)的方法, 以获取一幅具有完
整场景动态范围图像.
它主要分为两大类:一是以 Debevec 等
[4]
为代表的根据标定的相机响应函数(Camera
response function, CRF), 从多曝光图像序列中逆映射重建场景的 HDR 图像.但该方法适应性
差, 并要求输入的多曝光图像序列不存在相机抖动或者运动物体, 即输入的图像序列是绝对
静止的, 否则会导致融合后的 HDR 图像中出现伪影和模糊现象.第二种方法是跳过标定相
机响应函数的过程, 直接融合多曝光图像序列的像素, 以获得一幅包含丰富细节的图像.但
该方法同样没有解决由运动所导致的融合后的 HDR 图像中的伪影问题.
为解决 HDR 融合中的伪影问题, 应针对性地采用去伪影融合方法, 其中效果较好的算
法为基于图像配准的多曝光图像融合方法:即先对图像进行配准对齐, 再对配准对齐后的图
像序列融合得到去伪影 HDR 图像.此类方法大都基于 PatchMatch 算法
[5-6]
, 即一种用于计算
两个图像区域块之间的密集近似最近邻域(Approximate nearest-neighbor field, ANNF)的算法,
该方法具有较好的去伪影效果及鲁棒性. Sen 等
[7]
在 PatchMatch 的基础上, 对所有的多曝光
图像中使用多源双向相似度算法, 并最小化能量方程求解得到最优的 HDR 图像. Hu 等
[8]
也
是基于 PatchMatch 算法, 通过对纹理一致性与辐射一致性进行优化, 得到一组配准对齐的
图像, 该算法能够很好抑制曝光不好的区域.
上述算法虽然能实现伪影的消除, 但当场景中存在复杂运动物体时, PatchMatch 为了
提高精度需要多次迭代, 算法的复杂度也因而升高且效果不佳.而在实际应用中, 多曝光图
像融合方法应同时兼顾好效率、鲁棒性以及 HDR 图像质量, 才能更好地将算法运用在嵌入
式设备中.因此, 如何快速有效地通过融合方法从多曝光图像序列中得到无伪影和模糊现象
的 HDR 图像是本文的研究重点.
针对上述问题, 本文从基于图像配准的多曝光图像融合的角度出发, 研究基于块匹配
HDR 图像去伪影融合.针对复杂变化情况下的多曝光序列伪影较难消除的问题, 本文引入一
种新的基于块匹配的近似最近邻域搜索方法:一致性敏感哈希(Coherency sensitive hashing,
CSH)
[9]
.哈希方法能将高维数据降维处理且保留数据的一致性, 并进行高效的存取.随着大数
据技术的发展, 哈希方法的发展也从之前如局部敏感哈希(Locality sensitive hashing, LSH)
[10]
等独立于数据的方法研究, 转向具有监督型、无监督型与跨模型等依赖于数据的学习型哈
希方法的研究
[11]
.而本文采用的 CSH 方法扩展了 LSH 与 PatchMatch 算法, 进行基于块匹配
的近似最近邻搜索, 并利用图像间的一致性以传播更好的图像块, 从而大大加快了 ANNF
搜索速度与准确性.
此外, 由于多曝光图像序列亮度不一, 配准过程中必须考虑输入图像之间的曝光差异,
这对于最终融合的 HDR 图像质量极为重要, 因为任何的不匹配都会导致不良的伪影.因此
本文算法改进了相机响应函数的求解, 并根据相机响应函数对输入图像进行辐射校准, 转到
同一亮度域后再进行配准.仿真结果表明, 结合相机响应函数和一致性敏感哈希, 本文算法
能较好地实现 HDR 图像去伪影融合, 进一步提升了效率和图像质量, 对于存在复杂变换运
动物体的场景也具有较好的鲁棒性.
本文其余部分的结构安排如下:第 1 节介绍改进的相机响应函数求解方法; 第 2 节介绍
一致性敏感哈希; 第 3 节介绍本文提出改进后结合相机响应函数和一致性敏感哈希的 HDR
图像去伪影融合方法; 第 4 节是相关的仿真结果分析; 第 5 节为总结与展望.
1. 改进的相机响应函数求解
相机成像过程中, 曝光量 XX 为辐射照度 EE 和曝光时间 ΔtΔt 的乘积, 定义为:
X=EΔtX=EΔt
(1)
拍摄得到的数字图像 DD, 其像素值是像素处原始曝光量 XX 的非线性函数, 该函数即
为相机响应函数 ff, 定义为:
D=f(X)=f(EΔt)D=f(X)=f(EΔt)
(2)
在曝光时间 ΔtΔt 内曝光量 EE 近似不变, 因此可认为 ff 是单调递增的, 则存在逆函数
f−1f−1, 定义为:
EΔt=f−1(D)EΔt=f−1(D)
(3)
根据式(3)定义如下函数:
EiΔtj=f−1(Dij)EiΔtj=f−1(Dij)
(4)
其中, ff 为待求的相机响应函数, EiEi 为拍摄到的场景空间中第 ii 个位置上的辐射照
度, ΔtjΔtj 为第 jj 幅图像的曝光时间, DijDij 为输入数字图像序列中第 jj 幅图像的第 ii 个位置
上的像素值.两边取对数, 并令 g(⋅)=lnf−1(⋅)g(⋅)=lnf−1(⋅)可得:
g(Dij)=lnEi+lnΔtjg(Dij)=lnEi+lnΔtj
(5)
文献[4]把求解式(5)问题转换为求解最小二乘的问题:
O=s.t.∑i=1N∑j=1P{ω(Dij)[g(Dij)−lnEi−lnΔtj]}2+λ∑d=Dmin+1max−1[ω(d)g′′(d)]2g(Dmid)=0O=∑i=1N∑j=1P{ω(Dij)[g(Dij)−lnEi−lnΔtj]}2+λ∑d=Dmin+1max−1[ω(d)g″(d)]2s.t.g(Dmid)=0
(6)
其中, PP 为输入多曝光图像序列的数量; NN 为图像像素总和; DminDmin 和 DmaxDmax
分别为图像中像素值的最小值和最大值.上式中的第二项是为了保证 gg 的平
滑, g′′(d)=g(d−1)−2g(d)+g(d+1)g″(d)=g(d−1)−2g(d)+g(d+1).常量 λλ 是平滑项的权重参数,
本文取 λ=60λ=60.考虑到 CRF 曲线在 DminDmin 和 DmaxDmax 附近具有陡峭的斜率, 并且
在 DminDmin 和 DmaxDmax 两端有着较差的拟合情况.式(6)引入权重函数 ω(⋅)ω(⋅)强调曲线
中间部分的平滑度和拟合项, 权重函数 ω(⋅)ω(⋅)定义为:
ω(d)={d−Dmin,Dmax−d,d≤0.5(Dmin+Dmax)d>0.5(Dmin+Dmax)ω(d)={d−Dmin,d≤0.5(Dmin+Dmax)Dmax−d,d>0.5(Dmin+Dmax)
(7)
最小化式(6)的目标函数, 得到如下的线性方程组:
Ax=bAx=b
(8)
其中, x=[g(Dmin)g(Dmin+1)⋯g(Dmax)x=[g(Dmin)g(Dmin+1)⋯
g(Dmax) lnE1lnE2lnE1lnE2 ⋯lnEN]T⋯lnEN]T, AA 为
(NP+1)×(NP+1)× (N+Dmax−Dmin+1)(N+Dmax−Dmin+1)的矩阵, 可得到最小化式(6)是一个
简单的线性最小二乘问题, 可以使用奇异值分解(Singular value decomposition, SVD)方法来
求解该线性方程组.但由式(6)和式(8)可知当曝光次数减少(即多曝光图像的数量减少)时, 算
法计算复杂度上升; 当只有两次曝光的情况下, 问题变得更严重.
由于在式(8)中, lnEilnEi 被当做为变量, 但求解出相机响应函数后, 场景辐射照度是由
lnEi=∑Pj=1ω(Zij)[g(Zij)−lnΔtj]∑Pj=1ω(Zij)lnEi=∑j=1Pω(Zij)[g(Zij)−lnΔtj]∑j=1Pω(Zij)计算得到的,
所以该项并未实际使用.因此可合理设定输入的多曝光图像序列其辐射度 EE 是相同的
[12]
,
以此来消除 lnEilnEi 项, 从而进一步优化问题.先考虑仅存在两幅或三幅曝光图像的情况下,
即 P=2P=2 或 3, 关于每两幅曝光图像, 对于曝光时间为 j1j1 和 j2j2 中的像素位置 ii, 其亮
度值(或称为灰度值)分别为 Dij1Dij1 和 Dij2Dij2, 由式(3)可得:
g(Dij1)=lnEi+lnΔtj1g(Dij2)=lnEi+lnΔtj2g(Dij1)=lnEi+lnΔtj1g(Dij2)=lnEi+lnΔtj2
(9)
两等式相减之后, 可得:
g(Dij1)−g(Dij2)=lnΔtj1−lnΔtj2g(Dij1)−g(Dij2)=lnΔtj1−lnΔtj2
(10)
因此, lnEilnEi 项就被消除了.故式(6)的目标函数重新表述为:
O=s.t.∑i=1N∑j1=1P−1∑j2=j1+1P{ω^(Dij1,Dij2)[g(Dij1)−g(Dij2)−lnΔtj1+lnΔtj2]}2+λ∑d=Dmin+1Dmax+1[ω(d)g′′(d)]2g(Dmid)=0O=∑i=1N∑j1=1P−1∑j2=j1+1P{ω^(Dij1,Dij2)[g(Dij1)−g(Dij2)−lnΔtj1+lnΔtj2]}2+λ∑d=Dmin+1Dmax+1[ω(d)g″(d)]2s.t.g(Dmid)=0
(11)
其中 ω^(Dij1,Dij2)=ω(Dij1)ω(Dij2)−−−−−−−−−−−−√ω^(Dij1,Dij2)=ω(Dij1)ω(Dij2).式
(7)中使用简单的三角函数
[2]
作为其权重函数 ω(d)ω(d), 虽然可以减少处理时间, 但由于过
亮和过暗像素(即灰度值为 1 和 0 的像素点)处的权重过小, 并不能明显地抑制噪点.此外, 考
虑到一般情况下, 图像的噪声呈现的是高斯分布, 因此本文采用高斯函数替代三角函数, 以
减少噪声的影响.其高斯函数定义为:
ω(d)=exp(−k(d−Dmid)2D2mid)ω(d)=exp(−k(d−Dmid)2Dmid2)
(12)
其中, kk 取值为输入多曝光图像序列的数量.如下图 1 所示.
图 1 不同加权函数的曲线
Fig. 1 Curves of different weighted functions
下载: 全尺寸图片 幻灯片
通过最小化式(11)目标函数, 即可得到形同式(8)的线性方程组, 但其中向量 xx 变更
为: x=[g(Dmin),⋯,g(Dmax)]Tx=[g(Dmin),⋯,g(Dmax)]T.由于文献[4]采用的奇异值分解方法较
慢, 故本文采用更为快速的 QR 分解来求解方程组, 并根据求解出的 xx 来获取相机响应函
数
[13]
.
HDR 图像辐射照度域和 LDR 图像灰度域之间存在一种映射关系.根据相机响应函数,
可将 HDR 图像辐射照度域映射到一幅 LDR 图像灰度域的映射关系定义为如下:
li(H)=f(HΔti)li(H)=f(HΔti)
(13)
其中, ff 为相机响应函数, 则一幅 LDR 图像灰度域映射到 HDR 图像辐射照度域的映射
关系定义为如下:
h(Ii)=f−1(Ii)Δt−1ih(Ii)=f−1(Ii)Δti−1
(14)
则第 ii 幅 LDR 图像到第 jj 幅的映射关系定义为如下:
lj(h(Ii))=f(h(Ii)Δtj)lj(h(Ii))=f(h(Ii)Δtj)
(15)
综上, 通过改进的方法求解出相机响应函数后, 由式(14)即可将待配准的图像转换到
HDR 图像线性辐射照度域, 即同一亮度域中.接着再对亮度统一的图像进行配准, 通过式
(13)可将图像亮度转为原图像的亮度以便后续操作.
2. 一致性敏感哈希
在图像之间进行块匹配, 也称之为计算最近邻域(Nearest-neighbor field, NNF).由于图像
中图像块的数量较多, 为了找到近似最近邻域, 一些经典的算法其计算量往往都很大.基于
PatchMatch 的算法已经将最近邻域搜索的复杂度降到了 O(mMlogM)O(mMlogM) (其中
MM 为图像块的大小, mm 为图像的像素总数), 但依然很高.故本文采用 CSH 算法
[9]
, 该方
法结合了 LSH
[10]
和 Patchmatch 二者的优点并进行了扩展, 使得 ANNF 搜索速度更快, 搜索
结果更加准确, 且有效地降低了复杂度.
CSH 算法是在 Datar 等
[10]
提出基于 pp-稳定分布的 LSH 算法的基础上改进后的算法.类
似于 LSH
[14]
, CSH 算法过程可大致分为两大步骤:
1) 预处理, 建立索引;
2) 近似最近邻域搜索.
在索引阶段, CSH 将使用一组沃尔什– 哈达玛(Walsh-Hadamard, WH)内核函数来替换
LSH 函数族; 在搜索阶段, 与指向相同索引的图像块有限集相比, 极大地扩展了所考虑的候
选图像块集.
2.1 索引阶段
在索引阶段, 基于 pp-稳定分布的 LSH 算法, 使用形式为
ha ,b(v )=a ⋅v +brha→,b(v→)=a→⋅v→+br 的哈希函数族, 表示为 dd 维向量 v v→映射到
整数集上, 在函数族中每个哈希函数通过随机 a a→和 bb 来进行索引, 其中, a a→为 dd 维
向量, 且每个条目为独立于 pp-稳定分布, bb 是从区间[0,r][0,r]中均匀选择的实数, rr 为一常
数.
但在本文中, 由于原始数据向量是图像块, 所以并不将向量投影到随机线上, 而是随机
投影在第一个同时也是最重要的二维 WH 内核上.这样做的原因为:
1) WH 内核是一种计算投影非常高效的方法, 因为 WH 内核元素只有两个值(±1±1),
如图 2 所示, 因此 WH 变换计算只有整数加法和减法;
剩余23页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3651
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功