深度神经网络(Deep neural network, DNN)由于其突出的性能表现，已经成为人工智能系统的主流模型之一-针对不同的任务,DNN发展出了不同的网络结构和特征学习范式.其中，卷积神经网络(Convolutional neural network, CNN)通过卷积层和池化层等具备平移不变性的算子处理图像数据;循环神经网络(Recurrent neural network, RNN)-通过循环单元处理序列或时序数据.Transformer[↵作为一种新的神经网络结构，目前已被证实可以应用于自然语言处理(Natural language processing, NLP)、计算机视觉(Computer vision, CV)和多模态等多个领域，并在各项任务中展现出了极大的潜力.
