添加完成Cls Token后，再为所有特征添加上位置信息，这样⽹络才有区分不同区域的能⼒。添加⽅式其实也⾮常简单，我们⽣成⼀个197, 768的参数矩阵，这个参数矩阵是可训练的，把这个矩阵加上197, 768的特
征层即可。
class VisionTransformer(nn.Module):
def __init__(self, input_resolution: int, patch_size: int, width: int, layers: int, heads: int, output_dim: int):
super().__init__()
self.input_resolution = input_resolution
self.output_dim = output_dim
#-----------------------------------------------#
# 224, 224, 3 -> 196, 768
#-----------------------------------------------#
self.conv1 = nn.Conv2d(in_channels=3, out_channels=width, kernel_size=patch_size, stride=patch_size, bias=False)
scale = width ** -0.5
#--------------------------------------------------------------------------------------------------------------------#
# class_embedding
部分是
transformer
的分类特征。⽤于堆叠到序列化后的图⽚特征中，作为⼀个单位的序列特征进⾏特征提取。
#
#
在利⽤步⻓为
16x16
的卷积将输⼊图⽚划分成
14x14
的部分后，将
14x14
部分的特征平铺，⼀幅图⽚会存在序列⻓度为
196
的特征。
