End-to-End Object Detection with Transformers 目标检测论文组会汇报

End-to-End Object Detection with Transformers 目标检测论文组会汇报 在目标检测领域中，传统的目标检测算法需要大量的人为先验设计，如anchor和NMS，但这些算法并不是端到端的。为了解决这个问题，提出了一种名为DETR的方法，该方法使用 transformer 结构来实现目标检测。 DETR 模型可以分为四个步骤：第一步是使用卷积神经网络抽取特征，第二步是使用 Transformer encoder 学习全局特征，第三步是使用 Transformer decoder 生成预测框，第四步是将预测框和 Ground Truth 的框进行匹配，并计算损失函数。 在 DETR 模型中，使用了 self-attention 机制来对目标和图像全局信息之间的关系进行推理，直接输出检测结果，排除重复预测。同时，DETR 模型也使用了一个 encoder-decoder 结构， encoder 负责学习图像的全局特征，而 decoder 负责生成预测框。 在 DETR 模型中，还使用了一个名为 Prediction heads 的模块，该模块负责预测图像的归一化中心坐标、框的高度和宽度，以及类标签。预测结果是一个固定大小的 N 个预测框集合，其中 N 通常比图像中感兴趣的物体的实际数量大得多。 DETR 模型的优点是，它可以端到端地进行目标检测，无需人为的先验知识如 NMS 和 anchor 机制。此外，DETR 模型还可以拓展到其它任务上，如全景分割。然而，DETR 模型也存在一些问题，如训练时间非常长，计算量高，对小目标识别表现不好。 DETR 模型的架构可以分为四个部分：Backbone、Encoder、Decoder 和 Prediction heads。其中，Backbone 负责抽取特征，Encoder 负责学习全局特征，Decoder 负责生成预测框，Prediction heads 负责预测图像的归一化中心坐标、框的高度和宽度，以及类标签。 在 DETR 模型中，还使用了 transformer 结构的自注意力机制，来对目标和图像全局信息之间的关系进行推理。这使得 DETR 模型可以端到端地进行目标检测，无需人为的先验知识如 NMS 和 anchor 机制。 DETR 模型是一种端到端的目标检测方法，使用 transformer 结构来实现目标检测，它可以解决传统目标检测算法中的问题，提供了一个新的思路和方法来实现目标检测。