MaskFormer V1 V2论文分享PPT

图像分割是关于将不同语义的像素分组，例如，类别或实例成员关系，其中每个语义的选择定义了一个任务。虽然只是每个任务的语义不同，但目前的研究重点是为每个任务设计专门的体系结构。我们提出了一种新的架构Mask -attention Mask Transformer (Mask2Former)，能够解决任何图像分割任务(全景、实例或语义)。它的关键组成部分包括Mask -attention，通过约束掩模区域内的交叉注意来提取局部特征。除了将研究工作量减少至少三倍之外，它在四个流行的数据集上的性能显著优于最好的专门架构。最值得注意的是，Mask2Former设置了一个新的最先进的全景分割(COCO上57.8 PQ)，实例分割(COCO上50.1 AP)和语义分割(ADE20K上57.7 mIoU)。