与传统的Transformer相比，Swin Transformer通过采用分层结构和窗口内注意力机制，实现了更高效的计算和更好的适用性于图像识别、目标检测和语义分割等任务
1. 层次化特征表示
Swin Transformer通过构建层次化的特征表示，使模型能够捕获从细粒度到粗粒度的不同层次的视觉信息，这对于处理图像中的多尺度对象至关重要
2. 移动窗口的注意力机制
不同于传统Transformer中的全局自注意力机制，Swin Transformer采用了局部窗口内的自注意力计算。通过这种方式，它显著降低了计算复杂度，并且通过窗口间的移动操作保持了全局上下文的连续性
3.动态调整的窗口
Swin Transformer设计了一种机制来动态调整注意力窗口的大小，这种灵活性允许模型根据不同层次的特征和任务需求调整其感受野，从而更有效地处理图像信息
4. 跨窗口连接
为了解决局部窗口限制内的信息孤岛问题，Swin Transformer引入了跨窗口的连接方式，通过这种方式可以在不增加计算负担的情况下，有效地整合全局信息
