adaptive-attention-in-cv:在计算机视觉中探索新型2D自适应注意力跨度内核的论文的实现

计算机视觉中的自适应注意力跨度 正式实现。 在这项工作中，我们首先尝试复制结果。 接下来，我们提出了一种基于的新颖方法，用于学习局部自我注意核的大小。 我们将此与内核以及CIFAR100上的卷积内核进行了比较。 我们的2D自适应注意力跨度代码最初是从启发。 卷积中的自我注意代码大致基于。 复制步骤 克隆此存储库 获取需求pip install -r requirements.txt 执行说明： 对于2个P100 GPU上的小型，中型和大型模型，我们的Adaptive实现分别需要3、6和11个小时，而在CIFAR100上则需要100个时期。 一些重要的标志是 要在GPU上运行，请使用--cuda True标志，否则请不要使用此选项。 使用标志--smallest_version True可运行最小版本。 --small_version True表示运行中型模型，没有标志表示使用大