论文研究-基于卷积网络的帧率提升算法研究.pdf

所需积分/C币:18 2019-07-22 21:43:29 1023KB .PDF
37
收藏 收藏
举报

基于运动补偿的帧率提升算法是目前主要的帧率提升方法。为减小内插帧中的块效应、孔洞和遮挡问题,提高插值帧质量,提出一种基于卷积神经网络(convolutional neural network)的自学习帧率提升(frame rate up-conversion)方法。卷积神经网络用于利用两相邻帧预测待插值帧。在卷积神经网络的训练阶段,假设高帧率视频是存在的,网络参数由高帧率视频与低帧率视频训练而来。最后视频数据以低帧率视频加网络参数的形式传输,在接收端就可以利用卷积神经网络重建高帧率视频。实质上,这样做是通过增加视频发布者的负担以提供给视频接收者更多便利。对于视频点播网站来说,这是提升用户体验的重要因素。实验表明,该方案相对于传统的基于运动补偿的帧率提升算法,平均PSNR提升至少0.6 dB,取得较大程度的提升,并且该方法是基于全局的帧预测方法,可以有效避免块效应、孔洞和遮挡问题。
第2期 侯敬轩,等:基于卷积网络的帧率提升算法研究 613· 下采样后进行传输的视频训练一个网络然后以视频加网终参况采用不冋的策略。另外,鉴于人眼对颜色分量不敏感,本文 效的形式传输,在接收端重建高帧率视频,以克服直接传输高只对亮度分量(Y分量)进行处理。 帧率视频对流昰或带宽带来的压力。之所以钉对每一个视频 训练一个网络,是囚为这样做可以避免通过增加网络层数以提 发送端 高唢率未压缩视蜘 升重建效果的做法。网络层数增加必然带来计算量的增加,处 帧率下采样 低帧率未压缩视频 哩速度变慢,这对一些互联网终端来说是不现实的。在实际应 用中,视频发布方往往存在富余的计算能力。所以这样做,实 CNNI+CNN2 低唢率压缩視频了 际是通过增加视颍发布者的负担,以提供给视频接受者更多便 传输L 利。这对于·些视频点播网站来说是有意义的,因为让用广以 接收端 最小的代价提高观影质量,可以提升用户体验,这是企业经营 低帧率压缩视颞 成功的关键。 1.3视频经过压缩时的FRUC算法 「高帧率压视颊1 NNp 虽然本文算法避开使用基于块的运动补偿算法,但是因为 高帧率处理后视频 物体运动的影响,初步得到的插值帧也存在幻影效应。尤其是 图5本文算法流科图 视频斥缩后,帧图像会广生模糊、变形等现象。利用压銌后视 卷积网络的参数设置:CNN1的三个卷积层的卷积核个数 频进行帧率提升,插值帧的质量大大降低。本文针对压缩后视 分别为64、32、1,卷积核大小分别为9×9、1×1、5×5。CNN2的 频采取了一种双网络模型。首先,采用1.2节中的策略,训练 两个卷积层的卷积核个数分别为64、1,卷积核人小分别为9 CMN1用于视频的帧率提升;其次,模仿传统的基于运动补偿95×5。样本对的大小为36×36(输入)与24×24(输出)。 算法对运动向量的后处理,文训练卷积网络CNN2用于帧率本文利用Cafe平台进行模型训练,利用 MATLAB进行据值处 提升后祝频的后处理。 理与插值后视频的处理。 本文同时考虑压缩造成的质量下降与插值带来的幻影效 本文对每一个视频训练一个网络,这尢疑会有很大的工作 应。使用CNN构造一个从插值初步得到的高帧率视频到原高 量。在实际操作中,首先在多个祝频中随机抽取10万对训练 帧率视频的映射。可以把该卷积网络视做滬波器,其起到增强样本进行预训练,然后再次在此基础上针对每·个视频进行进 图像质量的作用。此处,选择个两层网络,其结构如图4所 步微调。这是CNN用在分类问题时的普遍做法。这样做可 示。与参考网络不同的是,去除参考网络的隐层HL2,因为卷 以降低每次训练的时间,同时提高精度。 积网络的运算时间主要集中在该层,实验表明,两层网络的处 理时间是三层网络的十分之一左右,但重建效果相近。所以 2.1视频未压缩时的情况 从实际应用的角度出发,选择两层的卷积网络,进行预估计帧 视歎木压缩的情况卜,使用单个內络CNN进行插值。为 的后处理。该网络的训练过程可表小为 了验证算法的有效性,本文选择多种MC-FHUC算法进行比 较。为保证与参考文猷致,以每个序列的前100帧为测试样 ∑‖∞'(Fn;')-x, (5)本。首先,对该100序列进行帧率下采样,然后使用CN 处理过程表示为 对下采样后序列进行插值。以PSNR作为客观指标对不同方 FR=Y(F: 0') (6)法进行比较。表1、2和图6分别比较不同序列下插值处理与 其中:Fn为处理后的帧,F。为插值后视频的帧,X。为对应的后处理的客观效果和主观效果。 高帧率视频中的帧,φ'为卷积网络代表的非线性映射。 表1不同序列下各种算法的平均PSNR /dB 序列 文献[3] 文献[4] 文献5] 本文方法 foreman 32.40 32.61 highway mobile 23.71 22.89 32.59 29.23 32.13 32.73 图4用于仕计帧后处理的网络结构 表2不同序列下各种算法的平均PSNR /B 综上所述,在现实场景中,视频压缩传输是普遍现象,所以 文献[7 本文针对视频压缩后的情况,如图5所示,对本文的总体思路 序列 文献[6 本文方法 框架2 进行概括。 41.94 28.38 33.68 2实验结果 27.93 oreman 32.84 32.16 实验选取了多个4:2:0的CF格式的YU标准测试序 highway 32.23 列,来验证本文算法的有效性。这些序列各有特点,可以比较 22.66 26.18 全面地反映算法的优劣。这些特点包括如 mobile的慢速移动 41.45 39.10 news 和丰富细节、 coastguard的水平运动、 orerall的前景运动差异 明显等。本文根据序列是否压缩,分别对未压缩和压缩两种情 31.56 34.78 614 计算机应用研究 第35卷 理,使得视须整体质量提商。实验表明,本义算法相对多种传 统算法有明显优势。需要说明的是,文中网络的训练结果受i 练次数的影响较大,由于时问的限制,本文结果并非最优结果 如果増加训练时间,效果有望进一步増强。本文及参考文献只 (a)原图 (b)本文算法得到的插值协 考虑了亮度分量,如果考虑色度分量,本文算法还需进一步 图6木文算法插值效果 研究。 2.2视频经过压缩时的情况 参考文献 如1.2节所述,祝频经过压缩的情况下,以每个序列的前[1 Chenhe, Lee s h, Kwon oJ,etal. Smooth frame insertion method 100帧为測试样本,采取分步策胳对视频进行处理。首先,对 for motion-blur reduction in LCDs[ C|//Proc of the 7 th Workshop ol 该l00帧序列进行帧率卜采样,然后对卜采样后序列进行压缩 Multimedia Signal Processing. 2005: 581-584 得到序列Y。压缩方法采用H.2砟4视频编码标准,编码模式采[2杨爱萍,董翠翠,侯正信,等.基于多帧运动估计的帧率提升算 用 quality-based模式,QP设定为40。首先,运用CN1对序列 法「J1.计算机应用研究,2012,29(10):3952-3955 Y进行插值,然后利用CNN2对插值后的序列进行处理。本文[3 Kang s j, Yoo s jJ, Kimi. Dual motion estimation for frame rate 以PSNR作为客观指标对插值与后处理的效果进行比较。表3 up-conversion LJ. IEEE Trans on Circuits and Systems for 和图7分别比较不同序列下插值处理与后处理的客观效果和 Video Technology,2010,20(12):1900-1914. 主观效果。 [4 Choi B D, Han J W, Kim C S, et al. Motion-compensated frame in 表3压缩后视频的FUC的PSNR比较 terpolation using bilateral motion estimation and adaptive overlapped 整个序列 block motion compensation[ J]. IEEE Trans on Circuits and Sys 序列 插值帧 无后处理 后处理 tems for Video Technology, 2007, 17(4): 407-416 31.44 [5 Wang Ci, Zhang Lei, He Yur et al. Frame rate up-con highway 32.97 33.72 33.98 using trilateral filtering J]. IEEE Trans on Circuits and Systems for Video Technology, 2010, 2 30.35 30.64 31.00 -[6 Han S C, Woods J W. Frame-rate up-conversion using transmitted motion and segmentation fields for very low bit-rate video cod 567891 456789 [C]//Proc of International Conference on Imagc Proccssing. 1997 11213141516 111213141516 747-750 18192022鲁 l819202122 a原图像细节 b插值后视频图像细节 [7. Kim [S, Sunwoo M H. New frame rale up-conversion algorithns wilh low computational complexity [J]. IEEE Trans on Circuits and 456789 ll1213141516 Syslems for Video Technology, 2014, 24(3 ): 384-393 819202122 [8 Iseo H, Jung H S, Sunw( M H. Novel [: rale up-( inversion al (c)处埋后的呶图像绀芍 gorithm based on prediction and recursive search[ C]//Proc of IEEE 图?视频压缩吋FRUC效果 Workshop on Signal Processing Systems [S1.1: IEEE Press, 2015 3结束语 [9 Dong Chao, Loy CC, lle Kaiming, et al. Learning a deep convolu- tional network for image super-resolution c// Proc of Computer Vi 本文研究了种基于卷积网络的自学习FRUC算法,该算 sion.2014:184-199 法基于图像的全局预测,可有效免块效应与孔洞效应。另外[10」 Dong chao, Loy C O, Ile Kaiming,etal. Image superresolution 本文算法通过自学习完成,可充分利用原视频的信息。本文根 using decp convolutional nctworks[ C]//Proc of European Conference 据视频是否压缩采取不同策略。在视频经过压缩的情况下,同 on Computer Vision. [s. 1.]: Springer International Publishing 时考虑压缩损失与插值引起的幻影效应,采取分步策略进行处 2014.184-199 (上接第610页) [11]Koh Y J, Lee C, Kim C. Video stabilization based on feature trajec [7 Ii Jianan, Xu Tinyla, Zhang Kun. Real-lime fealure-Iased viden sl Iyrnenlalion and selec liun and rmbs! mesh grid warping[J] bilization on FPGA[ J]. IEEE Trans on Circuits Systems for IEEE Trans on Image Processing, 2015, 24(12): 5260-5273 Video Technology, 2017, 27(4): 907-919 [12]吉淑娇,朱明,雷艳敏,等.基于改进运动矢量估计法的视频稳 [8 Zhang Lei, Xu Qiankun, Huang Hua. A global approach for fast vi 像[冂].光学精密工程,2015,23(5):1458-1465 deo stabilization[ J]. IEEE Trans on Circuits Systems for Video [13 Zhu Juanjuan, Fan Jing, Guo Baolong. Adaptive electronic image Technology,2017,27(2):225-235 slabiliz al ion algorithm resislanI In foregrulnl uving objer[J]. Acta [9 Manasa K, Channappayya S s. An optical flow-based full reference Photonica Sinica, 2015, 44(6): 0610002 video quality assessment algorithm[J]. IEEE Trans on Image Pro-[14]闰利,陈林,一种改进的SURF及其在遥感影像匹配中的应用 cessing:2016,25(6):2480-2492. [冂.武汉大学学报:信息科学扳,2013,38(7):770-73 「I0]陈滨,杨利斌,赵建军基于Sr特征的视频稳像算汰「J,兵「15]桯徳强,郭政,刘洁,竽.一种基于改进光流法的唿子稳像算法 工自动化,2016,35(4):45-48 [冂].煤炭学报,2015,40(3):707-712

...展开详情
试读 4P 论文研究-基于卷积网络的帧率提升算法研究.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于卷积网络的帧率提升算法研究.pdf 18积分/C币 立即下载
1/4
论文研究-基于卷积网络的帧率提升算法研究.pdf第1页

试读结束, 可继续读1页

18积分/C币 立即下载