Real-Time Selfie Video Stabilization.pdf

【摘要】：本文提出了一种新颖的实时自拍视频稳定方法。该方法完全自动化，运行速度为26帧/秒。通过1D线性卷积神经网络直接推断刚体移动最小二乘（MLS）扭曲，它在全局刚性和局部灵活性之间达到平衡。网络结构专门设计用于同时稳定背景和前景，并提供对稳定焦点（前景与背景相对重要性的可选控制）的用户控制。为了训练网络，收集了一个包含1005个视频的自拍视频数据集，远大于以前的自拍视频数据集。此外，还提出了一种刚体移动最小二乘的网格近似方法，实现了实时帧扭曲。该方法全自动，视觉效果和定量结果都优于先前的实时通用视频稳定方法。与之前的离线自拍视频方法相比，我们的方法在保持可比质量的同时，速度提高了多个数量级。 【详细说明】： 1. 自拍视频稳定技术的重要性： 随着智能手机和社交媒体的普及，自拍视频在日常生活中无处不在。然而，由于手持设备的抖动，自拍视频通常存在不稳定问题，影响观看体验。实时自拍视频稳定技术的目标是消除这些抖动，为用户提供更流畅、更专业的视频内容。 2. 方法概述： 本文提出的实时自拍视频稳定方法主要分为以下几个步骤： - **特征检测**：利用每个帧中的背景特征点和前景人脸顶点来识别运动。 - **双分支稳定网络**：该网络由两个分支构成，分别处理背景和前景的稳定。网络通过1D线性卷积层直接估计每帧的MLS扭曲，这使得能够平衡全局稳定和局部变形。 - **MLS扭曲**：通过网络推断出的扭曲参数，应用MLS算法来校正帧间的运动，实现平滑过渡。 - **控制焦点**：用户可以选择调整稳定焦点，改变前景与背景的相对重要性。 - **实时帧扭曲**：通过网格近似刚体移动最小二乘方法，实现快速帧扭曲，确保算法能够在实时环境下运行。 3. 数据集和训练： 为了训练网络，创建了一个包含1005个视频的大型自拍视频数据集。这个数据集的规模远超以往，有助于提高模型的泛化能力。训练过程中，模型学习到如何准确预测帧的稳定扭曲，从而达到理想的效果。 4. 性能比较： 与现有的实时视频稳定方法相比，该方法在视觉效果和量化指标上都有所提升，提供了更优质的稳定结果。与离线自拍视频稳定技术相比，虽然质量相当，但速度上有显著提升，极大地改善了用户体验。 5. 应用前景： 这种实时自拍视频稳定技术对于社交媒体、在线教育、远程会议等领域具有广泛的应用价值，可以提升视频质量，减少用户手动编辑的负担。 这项工作在自拍视频稳定领域取得了突破，通过创新的网络结构和高效的数据处理策略，实现了高质量、实时的视频稳定效果，为未来的研究和应用奠定了坚实的基础。