【免费】立体匹配的成本函数评估1资源-CSDN文库

需积分: 0 22 浏览量 2022-08-08 20:30:19 上传评论收藏 1.35MB DOCX 举报

资源详情

资源评论

资源推荐

立体匹配的成本函数评估

Heiko Hirschmuller

机器人与机电一体化研究所奥伯法芬霍芬德国航空航天中心（DLR）

heiko.hirschmueller@dlr.de

Daniel Scharstein

美国佛蒙特州米德尔伯里米德尔伯里学院

schar@middlebury.edu

摘要

立体匹配方法依赖于用于计算图像位置相似性的匹配成本。在本文中，我们评估了不同

的匹配成本对于输入图像的辐射变化的不敏感性。我们考虑了像素变体和窗口变体的情况，

同时在存在由增益和曝光差异导致的全局强度变化，由渐晕、非朗伯曲面以及不同光照导致

的局部强度变化，以及噪音的不同情况下测量它们的性能。我们将通过具有地面实况差异的

现有立体数据集，以及在受控的曝光和照明变化情况下拍摄的六个新数据集，采用局部、半

全局和全局立体方法评估不同的成本。

1.介绍及相关工作

所有立体匹配算法都有一种测量图像位置相似性的方法。计算匹配成本通常会考虑到每

个像素处所有差异。最简单的匹配成本会假设匹配图像位置处是恒定强度，但是更明显的成

本模型会或明或暗地模拟某些辐射变化以及噪声。常见的基于像素的匹配成本包括灰度和彩

色图像的绝对差异，平方差异，采样不敏感的绝对差异

[2]

，或截断版本。常见的基于窗口的

匹配成本包括绝对差或平方差（SAD / SSD），归一化互相关（NCC）以及秩和普查变换之

和

[23]

。使用过滤器可以有效地实现一些基于窗口的匹配成本。例如，可以使用秩滤波器获

取结果，再通过结果的绝对差来计算秩变换。还有其他像 LoG 和均值滤波器等一样的过滤

器可以尝试消除偏差或增益变化。

测量包括互联信息

[7,9,11]

和 Zitnick 等人在分层立体方法中使用的近似分段互联信息

[24]

等

更加复杂的相似性也是是可能的。

最近的立体调查

[5,17]

和米德尔伯里在线评估

[14]

比较了最先进的几种立体方法带有复杂的

几何形状和不同的纹理的测试数据。其他评估则侧重于像实时匹配的聚合方法

[21]

这些方面。

然而，由于立体测试集通常是成对地辐射地测量非常相似的图像，因此测量过程不评估匹配

成本的不敏感性。

专业术语“相似辐射度”是指在相同场景点处的像素在图像中所具有相似或理想相同的

值。由于设置的稍微不同、渐晕、图像噪声等情况，相机可能会引起辐射差异。进一步的差

异原因可能是因为非朗伯表面，这使得反射光的量取决于视角。最后，当在不同时间获取静

态场景的图像时，使得光源的强度或位置可以改变，比如匹配天线或卫星图像的情况。在所

有情况下，都需要能够处理辐射度差异的方法。

本文的范围是对几种具有常见辐射差异的图像进行一些广泛使用的立体匹配成本的评

估和比较。重点是匹配显著或隐含处理辐射差异的成本。这排除了流行的方法，例如根据接

近度和颜色相似性的基于相关性的加权

[22]

，因为这是一种使用截断的绝对差值作为匹配成

本的聚合方法。此外，根据所考虑的应用，仅评估在具有未知辐射畸变和光源的单个立体对

上工作的方法。这排除了通过采用至少两个具有不同照明的立体图像

[6]

或需要校准光源的方

法来明确处理非朗伯曲面的方法。

2.匹配成本和立体方法

区分匹配成本和使用这些成本的方法很重要。在本文中，我们比较了 6 种成本和 3 种

立体方法。我们考虑所有可能的组合来全面评估每种成本的不敏感性。

2.1.匹配成本

我们的第一个成本函数是常用的绝对差值，它假设相应像素的亮度恒定，并作为我们评

估的基准性能指标。局部立体方法通常在窗口上聚合绝对差值之和（SAD），而全局方法使

用像素方式的差异。在这两种情况下，我们使用 Birchfield 和 Tomasi（BT）的不敏感采样

方法进行计算

[2]

。

接下来的三个成本函数可以实现为单独应用于输入图像的过滤器。然后使用绝对差异匹

配变换的图像。第一个滤波器是高斯拉普拉斯（LoG），它通常用于局部方法中去除噪声和

偏差的变化

[10,13]

。在这里，我们使用标准偏差为 1 像素的 LoG 滤波器，该滤波器由卷积应

用使用 5×5 内核。第二个滤波器是秩滤波器，它使某个社区的所有像素用其中的秩替换像

素的强度。最初提出

[23]

对邻域内的异常值的鲁棒性，这通常发生在深度不连续附近并导致

物体边界模糊。由于该方法仅取决于强度的顺序而不是它们的值，因此它补偿了所有保留的

辐射畸变这个顺序。这里我们使用一个秩滤波器，其中一个 15×15 像素的方形窗口以聚焦

的像素为中心。虽然还有其他基于秩的匹配方法

[1,16]

，但我们选择了秩变换，因为它可以有

效地表现为滤波器，而无需改变立体方法本身。第三个滤波器是均值滤波器，旨在通过减去

某个邻域的平均强度来补偿偏差的变化。我们再次使用尺寸为 15×15 的方形窗口，该窗口

以聚焦的像素为中心。

我们的下一个匹配成本是互联信息（MI），一个处理两个图像之间复杂辐射关系的有效

方法

[20]

。通过对每个图像的重叠部分的直方图的熵进行求和，并减去像素对应关系的联合

直方图的熵来计算两个图像的 MI。MI 值直接表示图像的注册程度。这是由于观察到良好配

准的图像的联合直方图仅具有几个高峰，而联合直方图相当平坦。因此，对于良好配准的图

像，联合直方图的熵较低，而各个直方图的熵变化很小。MI 已被用于本地

[7]

和全球

[11]

立体

方法。在后一种情况下，其计算由泰勒展开变换，以获得像素方式的匹配成本。在成本矩阵

中为每种强度组合存储成本。此查找表是匹配所必需的，但只能从已知的对应关系中创建。

该解决方案是迭代设计，其中前一循环的视差图像用于创建在下一循环中匹配强度的成本矩

阵

[11]

。该过程以随机视差图像开始，并且通常仅需要 3 到 4 次迭代。

在本文中，我们使用

[9]

的高效分层 MI（HMI）方法，其工作原理如下。首先，两个输入

图像按因子 16 缩小，并且通过使用随机视差图像匹配立体图像来计算 MI。在对视差进行放

大之前迭代该过程几次，以用作在全分辨率的 1 匹配的初始猜测。重复升级和匹配，直到

达到完整分辨率。应当注意，较低分辨率级别的视差图像仅用于计算较高分辨率级别的匹配

成本，而不用于限制视差范围。如果立体方法的运行时间线性地依赖于，则分层计算的运行

时开销仅为 14％像素数和差异

[9]

。

最后，我们还评估了归一化互相关（NCC）。NCC 是用于匹配关键像素周围的两个窗

口的标准方法。窗口内的归一化补偿了增益和偏差的差异。NCC 在统计上是补偿高斯噪声

的最佳方法。然而，NCC 倾向于模糊深度不连续性而不是许多其他匹配成本，因为异常值

导致 NCC 计算中的高误差。MNCC 已被 Moravec

[15]

引入作为常见变体。我们选择标准 NCC，

因为 MNCC 在我们的实验中给出了稍差的结果。与我们在此考虑的所有其他匹配成本相比，

NCC 由于其基于窗口的设计而只能与本地方法一起使用。

在上述所有成本中，我们仅使用图像强度（亮度）而不是颜色进行匹配。原因是所考虑

的若干成本（例如等级和 MI）自然地定义在强度图像上，并且为了公平起见，我们想要比

较相同输入数据上的所有成本。但是，我们还发现，那些容易扩展到颜色的成本只能在我们

的数据集上略微提高。显然，强大的色彩匹配需要未来进一步的研究。

总而言之，我们比较了六种成本：采样不敏感的绝对差值（BT），三种基于滤波器的成

本（LoG，秩和平均值），分层互信息（HMI）和归一化互相关（NCC）。

2.2.立体算法

匹配成本的性能取决于使用成本的算法。因此，我们考虑三种不同的立体算法：局部的，

基于相关的方法（Corr），半全局方法

[9]

（SGM），以及使用图切割

[4]

（GC）的全局方法。

我们为每个立体方法实现了六种匹配成本中除了仅与本地方法一起使用的 NCC 的每一种。

图 1. Tsukuba，Venus，Teddy 和 Cones 立体对的左图。

我们的局部立体方法（Corr）是一种基于窗口的简单方法

[10,13,17]

。汇总匹配成本后使用

剩余11页未读，继续阅读

评论收藏

内容反馈

西门镜湖

粉丝: 23
资源: 296

立体匹配的成本函数评估1

评论0

最新资源

立体匹配的成本函数评估1

评论0

立体匹配：GUI 演示了一种高效的立体匹配算法。-matlab开发

基于色彩权值和树形动态规划的立体匹配算

基于自适应分水岭的图割的立体匹配算法

来自光场的局部深度图（视差图）估计：解释用于光场深度估计的立体类分类法的函数-matlab开发

一种基于多模式单演特征检测与匹配的三维视觉测量方法

vc++数字图像识别技术经典案例 光盘源码

BurpLoaderKeygen.jar.zip

最新版ISO/IEC 27001:2022、ISO 27002:2022中英文合集

Goby红队版-win-x64-2.4.7版本

Chrome Header Editor 插件

ISO SAE 21434-2021 中文版.pdf

OpenVAS GVM 中文翻译补丁

安全认证cisp教材全套

STM32F103C8T6核心板-电路原理图1.PDF

软件工程导论(第六版)课后习题答案1

现代永磁同步电机控制原理及MATLAB仿真__袁雷编著1

goby红队&社区版-win-64-2.4.7

OpenVAS离线资源

全面的安全基线核查清单

2023年最全最精简wifi密码字典(2.6G)

hackbar2.1.3-master安装包

Kali安装burpsuite专业版

CISP、NISP二级、CISE题库最新版（2024年1月更新）

关于STM32F103C8T6芯片的一些重要引脚功能的整理1

UN R155 信息安全法规 中英文版

LiqunKit-1.6.2

14.视觉SLAM十四讲(高翔第二版)1

最新资源

vc++数字图像识别技术经典案例光盘源码

UN R155 信息安全法规中英文版