没有合适的资源?快使用搜索试试~ 我知道了~
通用型无参考图像质量评价算法综述1
需积分: 0 1 下载量 169 浏览量
2022-08-04
15:52:19
上传
评论
收藏 2.34MB PDF 举报
温馨提示
试读
12页
引入文献[26]中提出的相位一致性等视觉特性,有效提高了评价性能;李朝峰等人提出了利用灰度-梯度共生矩阵计算图像相位一致性模型熵的图像统计特征[28],以及结合
资源详情
资源评论
资源推荐
2015,51(19)
1 引言
图像质量评价能有效评估图像采集和处理过程所
引起的失真或退化,具有很好的理论价值和应用前景。
目前研究较多地全参考(Full-Reference,FR)和部分参
考(Reduced-Reference,RR)评价算法,由于要用到参考
图像的先验信息,因此在实际应用中受到限制。无参考
通用型无参考图像质量评价算法综述
张淑芳,张 聪,张 涛,雷志春
ZHANG Shufa ng, ZHANG Cong, ZHANG Tao, LEI Zhich un
天津大学 电子信息工程学院,天津 300072
School o f Electr onic Information Engineering, Tianjin University, Tianjin 30 0072, China
ZHANG Shufang, ZHANG Cong, ZHANG Tao, et al. Review o n univers al no-reference imag e quality assessment
algorithm. C omputer Engineering and Applications, 2015 , 51(19):13-23.
Abstract:Image quality assessment can eff ectively eval uate distortion or degradation caused by image acqui sition and
transmission process, which has a broad a pplication prospect in the field of digital multimedia. And b ecause of no need
any pristine kno wl edge of reference im ages, no-reference image quality assessment has become an advanced research hot-
spot in the f ield of image quality assessment. On the basis of extensive research of literatures at home and a broad, i n both
of algorithm principle and performance comparison, thi s pa per systematically i ntroduces several state-of- the-art no-refer-
ence IQ A algorithm s, such as BIQI, DIIVINE, BLIINDS, BLIINDS-II, BRISQUE, NIQE and GRNN. Firstly, the met hods
of feature extra ction and the principle of quality assessment of e ach algorithm a re introduced. Secondly, the algorithms
above are simulated and evaluated on the LIVE image database, and the performance and execution speed of the algo-
rithms are analy zed and compared. At last, the further research trends of no-reference image quality assessment are pro-
posed. Al though these no-reference image quality assessments reviewed in this paper have satisfactory perf ormance, their
processes of evaluating image quality hea vily depen d on opinion data of image quality in the image database, and there
st ill exist some deficiencies in evaluation performance and algorithm comp lexity. Therefore, i t is necessary to ma ke fur-
ther study in t his field.
Key words:image q uality a ssessment; no reference; universal; feature ext raction
摘 要:图像质量评价可有效评估图像采集和传输过程引起的失真或退化,在数字多媒体领域具有广阔的应用前景,
无参考图像质量评价算法由于不需要参考图像先验知识,近年来成为图像质量评价领域研究的热点。在对国内外文
献进行广泛调研的基础上,从评价算法原理和性能比较两个方面,系统综述了 BIQI、DIIVINE、BLIINDS、BLIINDS-II、
BRISQUE、NIQE 和 GRNN 等当前性能较优的几种无参考图像质量评价算法。介绍了各种算法的特征提取和质量
评价原理,在 LIVE 数据库上对上述评价方法进行仿真评估,并分析和比较了各种算法的评价性能和执行速度,提出
了无参考评价方法的进一步研究方向。综述的几种无参考图像质量评价算法虽然已具有很好的效果,但在评价时
严重依赖数据库中的主观评价数据,并且在评价精度和算法复杂度方面还存在一些不足,需要进行深入研究。
关键词:图像质量评价;无参考;通用型;特征提取
文献标志码:A 中图分类号:TP39 1 doi:10.3778/j.issn.1002-8331.1507-0044
基金项目:国家自然科学基金青年基金(No.61101226)。
作者简介:张淑芳(1979—),女,博士,副教授,主要研究方向为图像质量评价和数字视频压缩;张聪(1991—),男,硕士研究生,主
要研究方向为图像和视频质量评价算法;张涛,博士,副教授,主要研究方向为数字音频处理和 DSP 应用;雷志春,博
士,教授,主要研究方向为多媒体技术和工业图像处理。E-mail:shufangzhang@tju.edu.cn
收稿日期:201 5-07- 03 修回日期:201 5-08- 22 文章编号:100 2-8331(2015)19-0013-11
CNKI网络优先出版:2015-08-26, http://www.cnki. net/kcms/detail/ 11.2127.TP.20150826.1554.015.html
C omputer Engine ering and Ap pli cations计算机工程与应用
13
C omputer Engine ering and Ap pli cations计算机工程与应用2015,51(19)
(No-Reference,NR)评价算法不依赖原始图像信息,具
有实际的应用前景。
无参考图像质量评价算法按照其适用范围可分为专
用型方法和通用型方法两种
[1]
,如图 1 所示。专用型无
参考评价算法针对特定失真类型图像进行评价,如文献
[2-5]提出了针对图像 JPEG 压缩编码失真的评价算法,
文献[2-3]通过测量块边缘强度及其他特征对图像进行
评价,Zhou 等人提出了基于边缘平均误差和图像活跃
性的特征学习方法
[4]
;文献[6-10]是针对图像 JPEG2000
压缩编码的算法,该类算法通常采用边缘检测和建立边
缘分布模型来衡量图像的振铃效应和模糊程度;文献
[11-16]是针对图像模糊的评价算法,Caviedes 等人通过
计算轮廓上图像块 DCT的峰度(Kurtosis)平均值反映图
像模糊程度
[11]
,Ferzli等人利用恰可察觉模糊(Just Notice
Blur,JNB)的方法来评价图像质量
[12]
,桑庆宾等人通过
构造模糊副本来计算结构相似性
[14]
。实际应用中图像
失真类型具有多样性和相互叠加性,因此,针对特定失
真类型的无参考质量评价算法的应用受到严重限制。
当前通用型无参考图像质量评价算法是本领域的
研究热点,Moorthy 等人于 2010 年提出了一种基于两级
框架的无参考图像质量评价模型(Blind Image Quality
Index,BIQI)
[17]
,在失真图像的小波 域提取统计特征和
利用支持向量 机(Support Ve ctor Machine,SVM)进行
图像失真类型分类的基础上,融合专用型无参考质量评
价方法,计算图像客观质量分数。Moorthy 等人在 BIQI
模型的基础上提出基于失真类型识别的图像真实性和
完整性评 价 模 型(Distortion Identificat ion-based Image
Verity and INtegrity Evalua tion,DIIVINE)
[18]
,利用可控
金字塔
[19]
在方向和尺度上进行小波分解,提取归一化小
波系数
[20]
统计特征,然后利用支持向量机建立特征模型。
有别于两级框架的无参考图像质量评价算法,以下几
种评价方法不需要对图像进行失真类型分类。Saad等人
提出了 BLIINDS(BLind Image Integrity Notator using
DCT Statistics)算法
[21]
,并提出了BLIINDS-II改进算法
[22]
,
其通过在图像 DCT域提取 DCT系数的统计特征建立支持
向量回归(Support Vector Regression,SVR)模型。Mittal
等人提出了 BRISQUE(Blind/Referenceless Image Spatial
Quality Evalua tor)算法
[23]
,通过对图像的空域归一化
[24]
系数提取统计特征建立回归模型。在 BRISQUE 方法的
基 础 上 ,Mittal 等 人 又 提 出 了 完 全 无 参 考 算 法 NIQE
(Natura l Image Quality Evaluator)
[25]
,该算法通过计算
失真 图 像与无失 真 图像的 多 元高斯模 型(Multivariate
Gaussian Model,MVG)距离来衡量图像质量。Li 等人
提出了基于广义高斯模型的 GRNN(General Regression
Neural Network)算法
[26]
,通过提取图像的相位一致性模
型熵、相位一致性模型均值、失真图像的梯度均值以及
失真图像熵等特征,运用广义高斯模型进行特征建模。
贾惠珍等人
[27]
为了弥补文献[23]统计特征的缺点,通过
引入文献[26]中提出的相位一致性等视觉特性,有效提
高了评价性能;李朝峰等人提出了利用灰度-梯度共生
矩阵计算图像相位一致性模型熵的图像统计特征
[28]
,以
及结合 NSS 和小波变换的无参考图像质量评价
[29]
。
本文将对几种典型的通用型无参考图像质量评价
算法进行讨论,首先介绍通用型算法特征提取和质量评
价的原理;然后在 LIVE 数据库
[30]
上对上述评价方法进
行仿真评估,并分析和比较了各种算法的评价性能和执
行速度;最后对无参考图像质量评价算法的进一步研究
方向做简要概括。
2 评价方法介绍
2.1 基于小波域特征的评价方法
2.1.1 BIQI算法
Moorthy等人提出了一种基于小波域的自然图像统
计特性算法(BIQI)
[17]
,认为失真会影响图像小波域自然
统计特性
[31]
,并且这种影响是有规律且可量化的。BIQI
算 法 提 出 两 级 框 架 的 模 型 ,第 一 步 利 用 支 持 向 量 机
(SVM)识别图像中存在每一种失真类型的可能性 ;第
二步 利用 专用 型 无参 考方 法或 者 利用 支持 向量 回 归
(SVR)计算图像在每一种单一失真类型下对应的图像
质量;最后利用第一步得到的失真类型可能性对第二步
的结果进行加权平均得到图像质量。
对于一幅 输 入 图像,利用 Daubechies 9/7 小 波基,
经过 3 级尺度和 3 个方向的小波变换之后得到子带系
数 ,然 后 用 一 种 广 义 高 斯 分 布(Generalized Gaussian
Distribut ion,GGD)进行拟合:
f
x
(x; μσ
2
γ) = ae
-[b|x - μ|]
(1)
(μσ
2
γ) 分别是GGD分布的均值、方差和形状参数。其中,
b = (1/σ) Γ (3/γ)/Γ (1/ γ)
,
a = βγ/2Γ (1/γ)
,Γ (x) =
0
¥
t
x - 1
e
-t
dt
GRNN
NIQE
BRISQUE
BLIINDS-II
BLIINDS
DIIVINE
BIQI
JPEG 编码失真的评价算法
JP2K 编码失真的评价算法
针对模糊的评价算法
针对快衰落的评价算法
小波域特征
的评价算法
DCT 域特征
的评价算法
空域特征的
评价算法
图像熵的
评价算法
无参考质量
评价算法
专用型评
价算法
通用型评
价算法
图 1 无参考图像质量评价算法分类
14
2015,51(19)
(x > 0)
。由于小波基可看成是一种特殊的带通滤波器,
故其响应满足零均值分布
μ = 0
,(σ
2
γ) 可以利用最大
似然估计
[32]
计算。在经过 3 级尺度和 3个方向小波变换
的 9 个小波子带上各提取两个特征参数
(σ
2
γ) ,这些特
征参数可以表示为
f
i
(Î R
1 ´ 18
) 。由于图像视觉效应是
多尺度的,故本文在图像的两个尺度上共提取了 36 个
特征。
利用 多分类 支持 向 量机(Multiclass-SVM)对 训练
集中 5 种失真图像提取上述的特征向量
f
i
进行训练。
SVM 预测出失真图像中存在每一种失真类型的可能性
p
i
{i = 125}
。针 对 5 种 失真 类型 ,利 用特 征 向量
f
i
,分别进行 SVR训练得到特征向量与图像主观质量之
间的映射关系
q
i
{i = 125}
。然后计算图像的客观
评价质量:
BIQI =
å
i = 1
5
p
i
× q
i
i = 125 (2)
在 进 行 SVM 分 类 时 ,采 用 的 是 径 向 基 函 数 方 法
(Radial Basis Function,RBF),以 5 重交叉验证的方式
确定 SVM 参数;采用 v-SVM 进行回归训练,
(Cγν)
参
数采取与 SVM 同样的交叉验证方式进行确定,其中
ν
取确定值 0.5。
BIQI 算法测试图像质量时,由于在多尺度多方向
小波变换子带上提取特征,并利用支持向量机进行回归
预测,因此客观评价分数与主观评价分数之间的一致性
较好。
2.1.2 DIIVINE 算法
Moorthy 等人在 BIQI 算法基础上进行了改进,提出
了基于失真类型识别的图像真实性和完整性评价算法
(DIIVINE)
[18]
,不同于 BIQI 只提取一些简单的边际描述
的特征,该算法提取了与视觉一致性的统计特征。文献
[33]证明了图像的尺度空间方向分解小波变换与大脑
初级视觉皮层的空间分解相对应。该算法对于分离归
一化
[20]
的小波系数进行特征提取,并利用与 BIQI相似的
方法计算图像质量。
(1)小波系数归一化
该过程分两步进行:第一步,利用可控金字塔
[33]
在
两级尺度、6 个方向执行小波分解。小波分解系数用
s
θ
α
表示,
θ Î{0°30°60 °90°120° 150°}
,
α Î{12}
。第
二步,执行重要的视觉分离归一化变换(Divisive Nor-
malization Tran sform)过程
[19]
。定义一个归一化邻域向
量
Y
,其包含了 15 个系数(9 个来自子带中间系数
y
c
的
3 ´ 3
邻域,1 个自来小波母带,5 个来自同一尺度上的相
邻子 带)。 用高 斯尺 度混 合(Gaussian Scale Mixture,
GSM)模型
[34]
对
Y
建模。对于一个满足 GSM 模型的
N
维随机向量
Y
,令
Y º z × U
(
º
表示概率分布相等),
z
是随机变量,
U
是零均值高斯随机向量(方差为
C
U
),
Y 的概率密度可以表示为:
p
Y
(y) =
1
(2π)
N 2
z
2
C
1 2
U
exp(
-Y
T
C
-1
U
Y
z
2
) p
z
(z)dz (3)
在已知向量
Y
的情况下,归一化参数
p
可以表示为:
p = Y
T
C
-1
U
Y/N ,分 离 归 一 化 变换之后的系数
y
= y/p
,
得到了分离归一化变换之后的子带系数
d
θ
α
。分离归一
化过程使得自然图像的子带统计特性分布特征更接近
于高斯分布。
(2)小波系数统计特征
小波系数统计特征包括:子带分布特征、方向相关
性、尺度间相关性、空间自相关性和空间互相关性。
子带分布特征:12 个子带上的子带系数用公式(1)
进行表示,由于
μ = 0 ,采用快速匹配法
[35]
估计分布参数
(σ
2
γ) 作为子带分布特征。
方向相关性特征:对于分离归一化之后的系数
d
θ
α
,
同样采用 GGD 对
{(d
θ
1
d
θ
2
)|"θ} 与 {d
θ
α
|"αθ} 进行拟合,
估计的
γ
作为方向相关性特征。
尺度相关性特征:每一个带通(BP)子带用窗函数
方 法
[10]
比 较 其 高 通 残 余 带 。 采 用 标 准 差
σ = 1.5
的
15 ´ 15
高斯窗函数对 BP 和 HP 带进行滤波。结构相关
性计算公式为:
p =
2σ
xy
+ C
2
σ
2
x
+ σ
2
y
+ C
2
(4)
σ
xy
表示 BP与 HP窗口区域内协方差,
σ
2
x
、σ
2
y
分别是 B P与
HP 窗口区域方差,
C
2
为一个常数,对子带内所有的局
部区域相关性求平均值
p
ˉ
,将其作为尺度相关性特征。
空间自相关性:对于
{d
θ
1
|"θ} ,计算
(ij)
处小波系
数与
N
τ
(τ Î{1225}) 的联合经验分布,N
τ
表示棋
盘距离为
τ
的空间坐标系集合。对于值为
τ
的联合分
布 可 以 理 解 为 两 个 随 机 变 量
X
与
Y
的 联 合 分 布
p
XY
(xy)
。估计两个变量之间的相关性,如式(5)所示:
ρ(τ)=
E
P
XY
(xy)
[(X - E
P
X
(x)
[X])
T
(Y - E
P
Y
(y)
[Y])]
σ
X
σ
Y
(5)
其中
E
P
X
(x)
[X]
表示边际分布为
P
X
(x)
的
X
的数学期望。
对
{d
θ
1
"θ}分别计算 ρ(τ) ,然后利用 3阶多项式对 (τρ(τ))
进行 曲 线拟 合 ,每 一 个 3 阶 曲 线拟 合 得到 4 个 拟合 参
数。将拟合参数、预测值与实际值的差等作为空间自相
关性统计特征。
空间互相关性特征:将
θ Î{0°,30°,60 °,90°,120°,150°}
6个方向的子带,分为 C
2
6
= 15 组。采用与计算尺度相关
性特征的窗函数方法
[10]
,计算每组子带中的区域相关
性,并取最低的 5%的区域相关性数值,作为空间互相关
张淑芳,张 聪,张 涛,等:通用型无参考图像质量评价算法综述
15
剩余11页未读,继续阅读
透明流动虚无
- 粉丝: 38
- 资源: 306
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0