FTV(自由视角电视)作为3D电视的未来,已经引起了工业界和学术界的极大关注。FTV允许观众通过自由改变视点观看3D场景。MPEG(移动图片专家组)于2007年4月开始了FTV标准化项目,并采用了在发送端进行深度估计,在接收端进行视图合成的系统架构,并使用了多视图视频加深度(MVD)的数据格式。基于MVD的架构对使用有限输入数据的FTV实现是可行的,同时也给接收端带来了巨大的计算负担,其中虚拟视图需要通过基于深度图像的渲染(DIBR)来生成。为了获得高质量的虚拟视图,DIBR引入了Warping、Blending、Hole Filling和Boundary Noise Removing等步骤,将参考视图映射到虚拟视点,并相应地校正像素值。然而,这个过程带来了高计算复杂性,尤其是在便携设备如智能手机、平板电脑等上应用FTV时尤其具有挑战性。最近,一些研究工作已经开始着手解决这些问题。 在这篇论文中,作者提出了一个多核平台上的并行系统,以及一个自适应的工作负载平衡算法,用于视图合成。基于系统级数据并行性,提出了一种基于深度图像渲染的自适应工作负载平衡方法,通过评估扭曲后的非孔像素数量来实现。实验结果表明,采用所提出的负载平衡算法,对于2核系统,核心间的工作负载差异平均减少了90.65%,对于4核系统,平均减少了79.57%。与没有采用所提出的平衡算法的并行系统相比,对于2核系统,合成速度进一步提高了最大7.5%,对于4核系统,提高了最大8.9%,同时没有主观和客观质量的下降。 在介绍部分,作者首先指出FTV作为3D电视的未来,吸引了来自工业界和学术界的高度关注。随后,介绍了MPEG标准化项目及其采纳的系统架构,即在发送端进行深度估计,在接收端进行视图合成。介绍了基于MVD的架构对于FTV实现的可行性,以及其在接收端引入的计算负担。为了生成高质量的虚拟视图,DIBR算法被引入,包括Warping、Blending、Hole Filling和Boundary Noise Removing等步骤。这些步骤虽然能够将参考视图映射到虚拟视点,但带来了高计算复杂性,对FTV尤其是便携设备的应用构成了挑战。因此,作者提出了一种并行视图合成系统和自适应工作负载平衡算法,目的是在多核平台上优化深度图像渲染的计算效率。 该算法的核心是在多核平台上利用系统级数据并行性,通过对每个核心的任务分配进行自适应调整,来平衡不同核心间的工作负载,确保它们的工作负载尽可能相等。这样做可以减少计算资源浪费,提高整体计算效率。通过实验,作者验证了算法的有效性,并展示了算法在不同核心数目(2核和4核)系统上的性能表现。提出的算法不仅能够有效减少核心间的工作负载差异,还能进一步提升合成速度,同时保持了视频质量。这一点对于在有限的计算资源中实现高效和高质量的视图合成尤为关键,尤其是在对计算能力有限制的设备上,如智能手机和平板电脑。 这篇论文的核心知识点涵盖了FTV的基本概念、MPEG的标准化项目、基于深度图像渲染的视图合成技术,以及多核平台上的并行视图合成和自适应工作负载平衡算法。通过这些技术的综合应用,可以有效地提高FTV视图合成的效率和质量,对于推动FTV技术的实际应用具有重要的意义。
- 粉丝: 9
- 资源: 943
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助