Scaled-down-self-supervised-learning:自我约束学习的正式pytorch实施

缩减自我监督学习 正式的pytorch实施的“自我监督学习：小就是美”。 抽象的 近年来，自我监督学习（SSL），尤其是对比学习已经取得了长足的进步。 但是，这些方法的一个共同主题是它们继承了受监督的深度学习场景的学习范例。 当前的SSL方法通常使用高分辨率图像针对大规模数据集上的许多纪元进行预训练，这带来了沉重的计算成本并且缺乏灵活性。 在本文中，我们证明了SSL的学习范式应该不同于监督学习，并且通过交叉熵损失，由对比损失编码的信息预计将比监督学习中的标签编码的信息少得多。 因此，我们提出了按比例缩小的自我监督学习（S3L），其中包括3个部分：小分辨率，小体系结构和小数据。 与以前的SSL学习范例相比，在各种数据集，SSL方法和骨干架构上，S3L始终能够以更高的培训成本实现更高的准确性。 此外，我们表明，即使没有大量的预训练数据集，S3L仍可以仅凭小数据就获得令人印象深刻的结果。 入门