基于立体像对数据集的非对称离焦数据集构建.docx

摘要

左右图像非对称离焦模糊会导致双目立体视觉系统的立体匹配失败。为训练能够应对图像

模糊的神经网络，基于归一化模糊度（NBL）的分层景深叠加算法，以 FlyingThings-

Stereo 立体像对数据集为例，添加随景物深度变化的模糊，构建非对称离焦立体视觉数据

集。新建的数据集提供非对称离焦的立体像对，可用于训练去模糊网络或立体匹配网络。

在训练去模糊网络时，分别向网络的输入和输出端提供模糊和清晰的立体像对；在训练立

体匹配网络时，向网络的输入和输出端提供模糊的立体像对和视差真值。利用虚拟合成和

实景拍摄数据对训练后的网络进行验证，结果表明本数据集可以有效训练去模糊和立体匹

配神经网络，使其具备应对离焦模糊的能力，实现图像去模糊和基于模糊图像的立体匹

depth-of-field rendering algorithm and taking the FlyingThings-Stereo image pair dataset

as an example. The proposed dataset can provide the unbalanced defocus stereo

images and be used to train deblurring or stereo matching networks. When training the

deblurring network, the dataset provides blurry and clear stereo images to the network's

input and output ends. When training stereo matching network, fuzzy stereo pairs and

parallax truth values are provided to the input and output ends of the network. The

network is verified by synthetic and real-scene data after it is trained. Results show that

the proposed dataset can effectively train the deblurring and stereo matching neural

networks and enables their ability to cope with defocus blur, so as to achieve the image

deblurring and stereo matching based on blurry images.

成为当今的前沿热点

考虑非对称离焦问题。为了使神经网络具备应对图像模糊的能力，数据集中的立体像对需

要具备非对称离焦模糊的特点。

目前广泛使用的立体视觉数据集按照构建的方式主要分为实景数据集和合成数据集两类。

实景数据集一般利用结构光或激光雷达等主动三维测量技术，结合立体相机来同时获取立

体图像及其三维坐标。在自动驾驶领域，Geiger 等

达和定位系统组成的车载采集系统，采集了 389 组立体视觉图像对，建立了 KITTI 立体视

Kinect 深度相机在室内拍摄了带有图像与深度信息的视频，并且对景物进行了分类标注。

Schöps 等

［15］

针对多视图立体视觉问题，用激光扫描仪、高分辨率单反相机、低分辨率视

频录像机采集了一系列室内和户外的图像，建立了 ETH3D 数据集与匹配算法排行榜。

Bao 等

［16］

为改进立体匹配网络在室内场景的效果，建立了含有 2050 个立体像对的

InStereo2K 数据集。建立实景数据集耗资巨大，因此数据规模往往受限。Cho 等

［17］

使用

手持双目相机拍摄了大量的立体像对，借助立体匹配算法生成视差的伪真值，训练用于单

目景深估计的网络。目前，规模有限的实景数据一般仅用于微调预训练的网络；而网络的

SceneFlow 数据集，它包括三个子数据集：以自由飞行的随机物体组成的 FlyingThings3D

数据集、以运动的卡通形象为主的 Monkaa 数据集和仿照驾驶环境的 Driving 数据集。其

中，FlyingThings3D 数据集的立体视觉子集 FlyingThings3D-Stereo 具有数据量大、景物

随机性好、视差图准确等优点，被广泛用于立体视觉网络的训练。然而，立体视觉数据集

中很少考虑到景深带来的图像模糊问题。针对单目图像中的模糊，D’Andres 等

Lytro 光场相机建立了带有 22 幅离焦模糊图像的实景数据集；Lee 等

为了训练能够估

计模糊核尺寸的神经网络，根据像素深度对图像添加离焦模糊，建立了 SYNDOF 数据

集。这些离焦数据集的规模较小，并未考虑非对称离焦问题，因此建立大规模的离焦模糊

像的模糊程度，构建大规模的非对称离焦立体视觉数据集，以训练出能够应对离焦模糊的

神经网络。本文代码的网址是：

模糊图像 IBIB 可以看作是将清晰图像 II 与模糊核 kk 进行卷积（⊗⊗）后叠加噪声 nn 形成

的

：

IB=k⊗I+nIB=k⊗I+n。（1）

不同类型的图像模糊对应不同类型的模糊核 kk，如运动模糊核一般为不规则的线状，离焦

模糊核则呈现二维高斯分布。对于离焦模糊，模糊核半径与景物到对焦平面的距离有关。

如图 1 所示，孔径为 DD，相机对焦到 SS 点，景物在传感器上成一个锐利点像 S'S'，物距

为 Z0Z0，像距为 w0w0；对焦平面外一点 PP，将其清晰成像到 P'P'点，对应的物距为

ZZ，像距为 ww。根据高斯成像公式与相似三角形原理，有：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪1Z0+1w0=1f1Z+1w=1f2rB|w0−w|=Dw1Z0+1w0=1f1Z+1w=1f2rBw0-

w=Dw，（2）

式中：f 为镜头焦距；rBrB 为模糊核半径，可表示为

rB=∣∣A(Z0Z−1)∣∣rB=AZ0Z-1，（3）

对应的像素点处会随着模糊核尺寸的增大而变得更加模糊。