yolo-6d-summary;物体检测 6D姿态估计 YOLO Vision

yolo-6d

论文地址：https://arxiv.org/abs/1711.08848

1 创新点

(1) 提出一个单阶段、仅需要RGB图像、可同时进行目标检测和6d姿态估计的快速网络，在Titan X GPU上可达到

50fps

(2) 6d姿态估计的做法是在当前姿态下，网络预测3d物体模型边缘构成的8个坐标点和物体中心点一共9个点在2d

图片上的投影坐标，最终使用n点透视PnP算法(Perspective n point)计算出预测6d姿态。

本文思想来源于论文BB8: A Scalable, Accurate, Robust to Partial Occlusion Method for Predicting the 3D

BB8预测6d姿态的核心思想就是不直接预测3d物体表面上点到2d图片的映射点的关系，因为这样复杂度太高，而

是预测3d物体所构成的3d边界框在2d图片上的投影坐标点，如果网络预测得到2d图片投影坐标点后，就可以使用

PnP算法(PnP求解算法是指通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来

求解相机外参的算法，PnP求解算法是SLAM前端位姿跟踪部分中常用的算法之一，opencv可以直接调用api)直接得

到3d旋转矩阵和3d平移向量。然而本文采用的是9个点，多预测一个物体中心点(我猜想是因为yolo网络的特点，需

要一个中心点，而不是说有了中心点，重建的3d姿态会更准)。如下图所示：

3 模型

3.1 模型结构