论文研究-基于时空一致的三维双向相似性优化的视频编辑 .pdf

所需积分/C币:9 2019-08-15 17:13:35 1.06MB .PDF
18
收藏 收藏
举报

基于时空一致的三维双向相似性优化的视频编辑,张青,聂勇伟,本文基于时空一致的三维双向性优化纹理合成方法,构建了一个基于用户交互的集视频缩放、视频修复、视频洗牌等多种编辑为一体的统
国武技论文在线 将图像修复技术扩展至视频序列。与之前的方法样,这类的视频修复算法仅对于较小的非 纹理时空缺失有效,而无法处理较大的时空缺失 提出了一种针对复杂场景视频 体中较大的时空鈥失进行修复的算法,它将视颎修复看作一个全局优化问题,为了保证修复 后的视频时空一致性不变,该法通过迭代优化来逐个像素点填充缺失部分,最终获得视频 修复结果。但是由于在优化过程中使用了多层次的时空金字塔及最近领域匹配,该方法修复 视频较慢,并且由于修复时存在不同块的合并,所以修复后视频会冇在一定程度的模糊。 将视频分割成多个不重叠的运动层,在修复时从不同的层中选取参考帧来修复 前帧,然后根据已知的运动参数来向其它帧传播,大多时候该方法能够得到不错的修复结果, 但是对于只有刚性运动的视频,该方法将不再适用。 基于运动域的半移来进行视 频修复,但该方法对噪声比较敏感,修复结果受噪声影响较大,另外由于在色彩传擇的过程 中使用了双线性重釆样,该方法也会不同程度的模糊修复后的视频。肖将视頻修复问题 看作是嵌入到时空视频体中的一个三维图的离散的全局优化问题,该方法能更好地修复出显 著结构和运动信息,但由于该方法需要建辶马尔科大随杋场,并需要采用置信传播算法来求 解,因而需要较髙的时空复杂度。肖通过快速提取出视频中的细节,在视频修复的时候 将细节加入,有效地解决了修复后视频模糊的问题,然而由于缺乏有效的时空一致性约束, 对于具有复杂运动信息的视频,该方法将不再适用。 视频洗牌是一种根据用户交互的新型趣味视频编辑于段,通过视频洗脾可以对视频中重 要物体进行复制,改变重要物体在视频中的位置、个数、大小、长度等等。当前图像视频洗 牌的方法主要为优化合成及融合的方法。 通过优化合成的方式来进行图像洗牌, 由于是基于合成,所以该方法可以接受用户不同的交互来灵活地进行多种图像洗牌操作,该 方法可以直接推广到三维视频上,但是由于缺乏对吋序问题的考虑,利用该方法进行视频洗 牌得到的结果会岀现视频抖动、模糊等问题。 通过 求解图标记问题米 获得一个最优平移图,而得到的平移图代表了每个输出像素选择的标记,该方法可以有效的 进行图片洗牌,图片修复,纹理合成等,但该方法在处理时可能会丢尖用户意图。 提出了一种通过找到人致重复的场景元素来进行图片编辑的方法,它通过将重复的场景元素 提取岀来,然后基于这些元素进行各种图片编辑,如:编辑转移,扭曲传播,图片洗脾等等, 然而该方法由于需要将重复场景精确的提取岀来,需要用到较为凊确的图像分割技术,所以 实际进行图片洗牌等操作时复杂度较高。 二维双向相似性度量 提出了一种使用双向相似性度量来总结可视数据的方法,它认为一个好的 总结中的信息应该是尽可能多的来自输入数据,并且尽可能少的带入在原始输入数据中不存 在的信息。双向相似性度量包含完整项 和相干项 ,完整项确保输 岀中的薮据尽可能多的来自原始输入数据,相干项确保在原始数据中不存在的信息尽可能少 的出现在输出数据中 ∑ ∑ 其中为原始可视数据,为输出的日标数据,和分别代表属于和的图像块, 和分别是和中块的个数,为两个块中所有像素点在彩色空间的平方差异之 国武技论文在线 三维双向相似性度量 提出的双向相似性度量方法是以一种合成的方法来处理视频数据,而对于 时间上的约束的缺乏会导致日标视频不够连续。为了解决这一问题,我们通过在原始双向相 似性度量基础上加入视频前后帧相冋位置二维块距离来保持视频的运动信息不变,更好的保 证纹理信息的时空一致性,公式如卜: 相比公式,公式多了一项一致项,这个一致项主要用来确保时间上的连续性及前 后帧之间的相似性,其中依然为输出视频中的一个三维块,为初始化视频中的与相 同位置的三维块,另外在完整项和相十项中加入了两个动态权值,分别为和,这两 个权值的求取将在下小节介绍。 由于视频数据量较大,如果单纯的对视频中所有的三维块进行三维双向相似性度量,将 会耗费大量时间。为了较少计算耗时,我们仅仅度量沿着视频主轴的三个正交切面,而不是 去度量一整个三维块 2千 图三维相似性度量仅仅度量三个沿着视频主轴的切面 这样两个三维块和之间的距离就可以定义如下 ∑ 这里的代表单个的体像素,即为三维块的中心, 分别是沿着, 个止交切片轴的邻居。, 的定义方式与 相似,只 不过这时代表的单个体像素为三维块的中心。指数 使得最优化更加鲁棒。连续 项中的 也按类似方式定义。与直接三维块相似性度量相比,我们提出的方法更加快, 另外,重采样中的模糊问题也可以得到一定缓解 直方图匹配 由于在使用进行迭代优化合成后,输出视频会出现模糊的问题,为了解决此问题, 受肖的启发,考虑通过使用直方图匹配进行动态权值分配,以确保重要的像素点在合成 过程中获得更大的权值,使得合成结果的直方图尽量与原来的尽可能相似,最终达到避免视 频模糊的目的。 在进行合成的吋候,对于目标视频中的所有三维块,通过最近领域匹配,找到在原 国武技论文在线 始视频中对应的三维块,然后分别对目标视频和原始祧频中的三维块建立个三通道格 直方图,我们用 表示合成视频和原始视频的第个通道上的直方图,当只考虑 三个通道时,的最人取值为 表示直方图中第格的值。()表示直方 图和中包含像素值的那一格,为优化时原本分配给每个像素点的权值。这 样,通过加入直方图匹配,优化时分给每个像素点的权值 叫以按如下方式定义 为 +∑ 图祝频缩放中加入直方图兀配后结果对比.原始祝频,不加入直方图兀配时的结果,加入直 方图匹配求取的动态权值后的结果. 图给出了利用直方图匹配求取动态杖值视频缩放结果的对比。其中为不加入直方 图匹配直接进行视频缩放得到的结果,为加入直方图匹配后的视频缩放结果,对比相同 位置红色方框内的细节信息可以发现,中红色方框内的树被严重模糊了,部分区域甚至 呈现出块状模糊,细节信息丢失较多,而中则较好的保留了树木的细节信息。 三维双向相似性度量方程的最优化 视频编辑过程就是对公式进行优化的过程,公式中的 包括三个部分,我们 单独考虑每一个像素点∈分别对三项计算时的误差贡献。记及分别表示像素 点和的像素信息。 单个像素点对 的贡献:取 代表中所有包含点的 为中与 分别最近的 然后取 为与在 相应位置的像素点,这样可得如下公式 单个像素点 对 的贡献:取 为所有中包含像素点的 并且当作中的 在中的最相近的 记 为中与 在 中相应位置的像素点,这样可以得出如下公式: 国武技论文在线 单个像素点对 的贡献:这里的′为初始化后得到的视频,为合 成后的输出视频,取 为待合成的视频中所有包含像素点的,记当前帧为, 为'中一帧所有包含相同位置像素点的所有 为'包与 像素点相同位置的所有像素点,则可得到如下公式: 而 ,要使 达到最小, 可对求一阶导数,然后可求得 ∑ 由于是优化模型,所以该方程需要迭代优化来求取最优解,这意味着对于第次迭代获 得的结果 将以作为新的初始化视频,再次利用公式来获得。而最终的编 辑结果视频,则需要反复迭代,直到迭代停止。 视频编辑 不同视频编辑应用的流程都是相同的,总体来说需要以下几步:初始化、步、步 结束。初始化获取迭代优化的初始视频,步中进行最近领域匹配,在原始视频和初始化 视频中找到相应的匹配关系,步根据步求得的块匹配关系来优化求解基于三维相似 性度量构建的能量方程,求取最小佰,如果本次求得的能量值不够小,则所次转到步, 如此反复迭代,直到能量值达到足够小的时候,即可结束,此时获得的日标视频即为最终的 编辑结果。 对」视频修复和祧频洗牌来说,初始化视频就是原始λ频上进行交互后的视频。对」视 频缩放,我们采用 来获得初始化,该方法为结合了裁剪和自适应扭曲的视频缩放 算法,算法在时空上对视频进行优化缩放,能够得到一个不错的初始化视频缩放结果。但是 该方法不可避免地会压缩或者丢失一些重要信息,这些被压缩或者丢失的信息可以通过本文 基于合成的视频缩放算法修复好。 EBSHD 85D 个把时一担量[哪量姆量城 基旺平 图视频缩放的初始化原始视频 致性缩放的结果,该结果中重要物休熊及两边的树均被 重压缩, 的结果,可以看到熊被适当压缩,然而该结果中左边的树被完全丢失 国武技论文在线 视频缩放 本系统提供了一个可接受用户多种交互的灵活视频缩放工具,传统的视频缩放算法无法 根据用户提供的输入来进行符合用户需求的多种视频缩放。我们与传统的视频缔放方法不 同,以前的方法大多通过显著性检测或光流检测岀重要的物体或运动信息,其目标是合理压 缩重要物体并保证时序一致的前提下压缩其余被认为不重要的部分,而木系统中提供的视频 将可以根据用户的需求来实现各种符合用户需要的视频缩放操作,前提是用户提供合理的初 始化视频或父互视频。当提供有效的初始化缩放视频并加上合适的用户父交互后,即可使用最 大期望值算法米迭代优化求解公式,经过一定次数的迭代后即可获得用户需要的缩放结 果视频 aBU 图视频缩放结果对比原始视频,一致性缩放结果, 的缩放结果,本文的缩放结 果 图视频缩放结果对匕原始视频帧,一致性缩放结果, 的缩放结果,本文的缩 放结果 图中,中给出的一致性缩放虽然成功地将λ频缩放到指定的分辨率,但是重要物 体熊、石头、两边的树均被严重压缩,中 的结果由」引入了裁剪,所以左边的 树却被完全丢失了,而在用户不知情的情况下将左边的树完全丢失掉,有可能不是用户想看 到的缩放结果。如果当前用户想得到的缩放结果如下:视频缩放至指定的分辨率,重要物体 熊要得到较好的保留,两边的树也要在适度压缩后保留下来。这时传统的视频缩放算法将很 难或者无法做出用户满意的缩放结果。而本文的视频缩放将可以很方便的达到用户的需求。 对于视频中的重要物体可以赋一个较人的权值,使其不至于被过度的压缩,而对于其它一些 用户想要保留的部分,则可以在原始视频中大致交互出来,然后在优化合成的时侯加入到最 终的缩放视频中。图中,由于视频体中只有熊猫一个重要物体,所以这时我们的缩放目标 是使得缩放后的视频中熊猫这一重要物体必须尽可能地得到更好的保存,而不是同视频其它 部分一样被严重压缩,这时我可以充分发挥我们系统支持用户多种输入的优势,通过一定的 交杠来确保熊猫能够更好的保留在输岀祧频中。由结果可知,在我们的缩放后结果中,重要 物体熊猎猫得到了比其它方法更好的保留,能呈现给用户更好的视觉效果。 视频修复 国武技论文在线 图视颊修复结果对匕原始视频,交互后的破损伣频,黑色区域为破损区域, 的 修复结果,本文的修复结果 视频修复的目标是对视频中的时空缺失区域以一种视觉可接受的方式进行填充和修补, 它要求修复后的视频能够保持吋空致性,并且修复后的破损区域不能岀垗特征断裂,特征 不连续,特征模糊等问题。基于本文提出的时空致性三维双向优化纹理合成方法,我们可 以按如下步骤进行视频修复 对原始视频进行交互。我们采用对原始视频进行交互的方法,首先在原始视频上编辑岀 一块目标视频上不会出现的数据Ω(如图所示),由于目标视频的数据都从原始视频而 来,因此该数据不会出现在目标视频上。然后,在原始视频上编辑结构信息,在缺损区域外 面的部分为α,在缺损区域里面的部分为B,β区域的结构信息由α区域扩散而米。 C平 B 图原始视频屮的交互示意图 扩散结构信息。由于修复更加体现目标视频与原始祧频之冋的相关性,因而此时我们主 要对双向相似方程中的相干项进行操作,也就是操作目标视频在原始视频中的最近匹配 (我们将原始视频在目标视频中的最近匹配称作)。扩散方法为:检查 匹配是否出现在β区域,如果是,则将该匹随机分軋为a区域中的一块 扩散纹理信息。区域Ωβ即所谓的纹理区域,纹理可以通过合成的方法来实现,但是 我们使用的 算法提供了更好的扩散方法来实现纹理的修复。在确定好β区域的 最近匹配后,Ωβ区域的最近匹配由β区域的扌散而来,此时,我们不用检查该打散匹配 是否更优。为了保证修复视频的连续性,我们优先在时间方向上进行扩散,然后在不同的情 况下优先从或方向扩散。 消除的影响。在双向相似度量方程中,有相T项和完整项两项,为了达到指定的 Ω区域不会出现在目标视频上的目的,我们必须对进行处理。这里,我们采用最简单 的方法,即标记出 中存在于Ω区域的块,让其不参与合成。在对 和 进行 调整后,继续进行双向相似优化。 国武技论文在线 视频洗牌 图视频洗牌结果对比原始视频,用户交互的祝频,蓝色框中的圆顶建筑即为将要拷贝并移动的 物体,红色虚线框即为复制后圆顶将要移动到的位置 的洗牌结果,可以看到左右两边的圆 顶被严重的模糊木文的洗牌结果 视频沈牌是一种根据用户交互的新型趣味视频编辑手段,通过视频洗牌可以对视频中用 户指定的物体进行复制,改变物体在视频中的位置、个数、大小、长度等等。本文中视频洗 牌操作的具体步骤如下 对目标视频进行交互。由于操作的是目标视频上的对象,因此与视频修复不同的是,我 们直接对目标视频进行操作,编辑出需要移动的区域。如图所示,α为需要移动的区域 B 图视频洗牌交互示意图 移动。如图所示,将α区域移动到β区域,我们用移动目标视频最近匹配的方 法来移动目标视频上的对象,即:β区域块的最近匹配等于a区域的最近匹配。 移动路径上的扩散。在将a区域移动到β区域后,移动路径会空出来,如图中和 中黑色区域所示,为了使视频时空上更加连续,我们使用扩散而非合成的方法来填充这 些区域。在填充时乂分一下几种情况:若视频对象向右移动,左边路径上的空区域从右往左 扩散;若视频对象向左移动,那么右迦路径上的空区域从左往右扩散;视频对象向其它方向 移动有类似的处哩。特别地,如果视频对象不在水平或垂直方向上移动,我们的处理方法是, 先在水平方向上移动,然后在垂直方向上移动。为了保持视频在时间方向上的连续性,我们 在填充空区城时,优先考虑从方向上扌散,然后根据不同的情况,优先从(如左右移动 时)或(如上下移动时)方向上进行扩散。 消除的影响。在洗牌中也要消除的影响。由于视频洗牌体现目标视频与原 始视频的相关性,因此,我们主要考虑双向相似算法中的相十项。因此,在消除的影 响时,我们采用最简单的方法:如果中最近匹配存在」移动区域中,则原视频上的块 不参与合成。在对和进行调整后,继续进行双向相似优化。 实验结果及分析 我们在机上,使用实现了本文算法。运行系统环境为 计算机配置 为 内存。我们的算法主要耗时集中在迭代中的最近领域 国武技论文在线 匹配。对于·个 的视频这ˉ过程般会消耗分钟,由于耗时还与选择的 迭代次数有关,因此对于这一大小的视频时间会在一定范围内波动。我们基于本文的视频编 辑系统,进行了视频缩敚、视频修复、视频洗牌等编辑操作,下面是我们的一些实验结果 图视频缩放屮加入一致项后结昊对比原始视频,未加入一致项时,只加入直方图时的视频缩 放结果,加入直方图匹配以及一致项后的缩放结果 曲宙 图视频缩放结果对比原始视频,一致性缩放结果, 的缩放结果,本文的缩放 结果 ∥AdG 图包含复杂相机运动视频缩放后结果对比原始视频,一致性缩放结果, 的缩放结 果,本文的缩放结果 佟视频修复结果对比原始视频,交互后的破损视频, 的修复结果,木文的 修复结果 图不同的视频洗牌结果原始视频, 分别为不同的祝频沈牌结果,中本来居中的椅子被 移到靠冇边了,中椅子被缩短,而且下面的灰色地板被加长了,中两人之间的距离被加长,椅子被加 长,灰色地板也被相应加长

...展开详情
试读 12P 论文研究-基于时空一致的三维双向相似性优化的视频编辑 .pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于时空一致的三维双向相似性优化的视频编辑 .pdf 9积分/C币 立即下载
1/12
论文研究-基于时空一致的三维双向相似性优化的视频编辑 .pdf第1页
论文研究-基于时空一致的三维双向相似性优化的视频编辑 .pdf第2页
论文研究-基于时空一致的三维双向相似性优化的视频编辑 .pdf第3页

试读结束, 可继续读1页

9积分/C币 立即下载