轻量级光流CNN——重温数据保真度和正则化

-在过去的四十年里，大多数人使用变分方法来解决光流估计的问题。随着机器学习的发展，最近的一些工作试图利用卷积神经网络（CNN）来解决这个问题，并取得了令人满意的结果。FlowNet2[1]是最先进的CNN，需要超过160M的参数才能实现准确的流量估计。我们的LiteFlowNet2在Sintel和KITTI基准测试中的性能优于FlowNet2，同时在模型尺寸和运行速度上分别是FlowNet2的25.3倍和3.1倍。LITEFRONET2是建立在传统方法基础上的，类似于变分方法中数据保真度和正则化的相应作用。我们以SPyNet[2]的形式计算空间金字塔形式的光流，但通过一种新的轻型级联流推断。通过早期校正和描述符匹配的无缝结合，它提供了较高的流量估计精度。流正则化通过特征驱动的局部卷积来改善异常值和模糊流边界的问题。我们的网络还拥有一个用于金字塔特征提取的有效结构，并支持特征扭曲，而不是像FlowNet2和SPyNet中所实践的图像扭曲。与LiteFlowNet[3]相比，LiteFlowNet2在Sintel Clean上的光流精度提高了23.3%，Sintel Final提高了12.