VS实现双目校准

### VS实现双目校准详解 #### 一、双目校准原理概述 双目视觉是一种模拟人类双眼观察世界的方式，通过两个摄像机从不同角度同时拍摄同一场景，然后利用计算机算法来计算出物体的深度信息。双目视觉的关键技术之一就是双目校准（Stereo Calibration），其目的是确定两个摄像机之间的相对位置关系以及它们各自的内部参数。校准完成后，就可以基于这些参数来进行立体匹配，从而得到场景中物体的三维信息。 #### 二、关键参数解析 **1. 内部参数** - **焦距**（Focal Length）：表示图像传感器上像素与镜头光学中心的距离，通常用像素为单位。左摄像机的焦距为 `fc_left = [688.30717, 683.13738]`，右摄像机为 `fc_right = [665.32773, 660.17940]`。 - **主点**（Principal Point）：即图像中心点在图像坐标系中的坐标值。左摄像机为主点 `cc_left = [315.31975, 264.40537]`，右摄像机为主点 `cc_right = [345.54178, 249.92143]`。 - **偏斜系数**（Skew）：反映图像X轴和Y轴是否垂直。左摄像机的偏斜系数 `alpha_c_left = [0.00000]`，右摄像机的偏斜系数 `alpha_c_right = [0.00000]`，表明两摄像机的像素轴均为垂直。 - **畸变系数**（Distortion）：描述镜头畸变情况，包括径向畸变和切向畸变。左摄像机的畸变系数为 `kc_left = [0.27153, -1.00396, 0.01107, 0.00364, 0.00000]`，右摄像机的畸变系数为 `kc_right = [0.22386, -0.93591, 0.00725, 0.00018, 0.00000]`。 **2. 外部参数** - **旋转向量**（Rotation Vector）：表示右摄像机相对于左摄像机的旋转角度。本例中为 `om = [-0.02302, -0.00735, 0.00089]`。 - **平移向量**（Translation Vector）：表示右摄像机相对于左摄像机的平移距离。本例中为 `T = [-39.78384, 1.21230, -40.44029]`。 #### 三、双目校准步骤 1. **初始化参数**：定义摄像机内部参数矩阵（`cameraMatrixL`, `cameraMatrixR`）、畸变系数（`distCoeffL`, `distCoeffR`）等。 ```cpp Mat cameraMatrixL = (Mat_<double>(3, 3) << 688.30717, 0, 315.31975, 0, 683.13738, 264.40537, 0, 0, 1); Mat distCoeffL = (Mat_<double>(5, 1) << 0.27153, -1.00396, 0.01107, 0.00364, 0.00000); Mat cameraMatrixR = (Mat_<double>(3, 3) << 665.32773, 0, 345.54178, 0, 660.17940, 249.92143, 0, 0, 1); Mat distCoeffR = (Mat_<double>(5, 1) << 0.22386, -0.93591, 0.00725, 0.00018, 0.00000); ``` 2. **计算校正参数**：通过 OpenCV 的 `stereoRectify` 函数来计算校正后的旋转矩阵（`Rl`, `Rr`）、投影矩阵（`Pl`, `Pr`）和重投影矩阵（`Q`）。 ```cpp stereoRectify(cameraMatrixL, distCoeffL, cameraMatrixR, distCoeffR, imageSize, R, T, Rl, Rr, Pl, Pr, Q, CALIB_ZERO_DISPARITY, 0, imageSize, &validROIL, &validROIR); ``` 3. **生成映射表**：使用 `initUndistortRectifyMap` 函数为每个摄像机生成映射表，用于后续图像校正。 ```cpp initUndistortRectifyMap(cameraMatrixL, distCoeffL, Rl, Pl, imageSize, CV_32FC1, mapLx, mapLy); initUndistortRectifyMap(cameraMatrixR, distCoeffR, Rr, Pr, imageSize, CV_32FC1, mapRx, mapRy); ``` 4. **校正图像**：对输入的左右图像应用映射表进行校正，获得无畸变且已校正的图像。 ```cpp remap(grayImageL, rectifyImageL, mapLx, mapLy, INTER_LINEAR); remap(grayImageR, rectifyImageR, mapRx, mapRy, INTER_LINEAR); ``` 5. **立体匹配**：使用 `StereoBM` 类进行立体匹配，计算视差图。 ```cpp Mat disparity; bm->compute(rectifyImageL, rectifyImageR, disparity); ``` 6. **三维重建**：根据重投影矩阵 `Q` 和视差图，利用 `reprojectImageTo3D` 函数得到三维坐标信息。 ```cpp reprojectImageTo3D(disparity, xyz, Q); ``` #### 四、注意事项 - 在实际应用中，需要确保两个摄像机的内参和外参准确无误，这通常需要通过专门的标定过程获得。 - 双目校准的准确性对于后续的立体匹配和三维重建至关重要，因此在标定时要特别注意细节处理。 - 代码中涉及到的函数调用（如 `stereoRectify`、`initUndistortRectifyMap` 等）需要根据实际应用场景进行调整，确保结果的有效性。 双目校准是双目视觉系统中非常重要的一个环节，它能够确保系统能够准确地恢复场景中的三维结构。通过本文介绍的方法和步骤，可以有效地实现双目校准，并为进一步的立体匹配和三维重建打下良好的基础。