STAM:正式实施“图像值16x16的单词，什么是视频值？” （2021纸）

图像值得16x16字，什么是视频值得？ 官方PyTorch实施 Gilad Sharir，Asaf Noy，Lihi Zelnik-Manor 阿里巴巴集团DAMO学院 抽象的 动作识别领域中的领先方法试图从输入视频的空间和时间维度中提取信息。 达到最新技术（SotA）准确性的方法通常使用3D卷积层作为从视频帧中提取时间信息的一种方式。 使用这种卷积需要从输入视频中采样短剪辑，其中每个剪辑都是紧密采样帧的集合。 由于每个短剪辑都覆盖了输入视频的一小部分，因此在推断时会采样多个剪辑，以便覆盖视频的整个时间长度。 这导致计算量增加，并且对于实际应用是不切实际的。 我们通过显着减少推理所需的帧数来解决计算瓶颈。 我们的方法依赖于一个临时转换器，该转换器将全球注意力施加到视频帧上，从而更好地利用每个帧中的显着信息。 因此，我们的方法具有很高的输入效率，并且可以利用一部分数据（每个视频的帧数），计算