基于矢量估计和加权视差插值的多视点视频编码

在处理多视点视频编码技术时，本文探讨了一种基于矢量估计和加权视差插值的多视点视频编码方案。此方案意在充分利用时间及空间上的冗余性，并对MPEG发布的多视点视频编码（MVC）的“提案征集”做出了响应。 对三维视频（3DTV）和自由视点视频（freeviewpoint video）进行简要介绍。这些新型自然视频源能显著扩展用户通过传统2D媒体所获得的感受。与3D视频和自由视点视频相关的关键技术涵盖了从捕捉、信号处理、数据表示到压缩、传输的整个处理链。 在编码效率方面，传统的视频编码方法如H.264/AVC simulcast和JMVM存在一定的局限性。本文提出了一种基于矢量场估计和加权视差插值的多视点视频编码新方案。该方案对并行摄像机模型的多视图图像进行了时间与空间冗余性的显著降低，这得益于将循环约束扩展到多视图图像，并提出了新颖的“矢量场估计”方案。 为了实现更准确的视差预测，方案中还执行了加权视差插值。通过这种插值方法，相邻视差向量的预测变得更加精确。在多视图图像集上的实验结果显示，相比于之前的方法，该编码效率提高了约0.2–0.5dB。 在研究背景中，作者提到了本研究工作得到了中国自然科学基金、上海市曙光计划以及上海市教育委员会重点项目的资助。具体的支持编号包括***和***、06SG43、09ZZ90。 在介绍多视点视频编码相关工作时，文章指出，本文的工作主要针对的是三维视频和自由视角视频的捕获、处理与压缩技术，这些技术需涵盖从捕获、信号处理、数据表示到压缩、传输的整个处理链。多视点视频编码的挑战在于如何高效编码多个视角中的视差信息，并利用这些信息进行高效视频压缩。通过参考多视点视频编码的相关提案征集，研究者们可以开发新的算法和框架，以实现更加紧凑的编码和更优的视觉质量。 对于三维视频和自由视点视频来说，其视频源为用户提供了超越传统二维媒体的新体验，关键在于能够通过视点的切换和视差的控制来获得更丰富的视觉信息。因此，如何在不牺牲视觉质量的前提下，高效地压缩这种视频源，是研究者和工程师们面临的重要课题。本文通过引入新的矢量场估计和加权视差插值技术，为这一挑战提供了新的解决方案，旨在进一步推动多视点视频编码技术的发展。