深度学习之图像分类Transformer in Transformer(TNT)网络详解.docx

"Transformer in Transformer(TNT)网络详解" 深度学习之图像分类Transformer in Transformer(TNT)网络是华为团队2021年提出的一种创新型网络结构，旨在解决图像分类任务中的局部性问题。TNT网络的核心思想是将大的patch再进行切片，在patch内部做一个Multi-Head Self-Attention，将key值共享在patch内部。这使得模型能够兼顾“局部性”以及计算量。 TNT Block是TNT网络的核心组件，负责处理patch内部的信息交流。作者将16×16的patch称为visual sentences，将patch再进行切片出来的例如4×4的小patch称为visual word。这样patch内部进行自注意力机制研究哪里比较重要，patch之间通过自注意力机制研究彼此之间的关系，能帮助我们增强特征的表示能力。 Position encoding是TNT网络中的一种关键技术，用于将patch内部的信息编码为向量形式。作者使用了一种特殊的position encoding方式，将patch内部的信息编码为一个固定长度的向量，这使得模型能够更好地捕捉到patch内部的局部性信息。 复杂度计算分析是TNT网络中的一项重要技术，用于计算模型的计算复杂度。作者通过对TNT网络的复杂度计算分析，发现了模型的计算复杂度可以通过调整patch的大小和数量来控制。 可视化结果是TNT网络的一项重要应用，用于将模型的输出结果可视化为图像形式。作者使用了一种特殊的可视化技术，将模型的输出结果转换为图像形式，这使得模型的输出结果更加直观和易于理解。 代码实现是TNT网络的一项重要组件，负责将TNT网络的模型实现为代码形式。作者使用了一种特殊的编程语言，将TNT网络的模型实现为代码形式，这使得模型可以在不同的硬件平台上运行。 Transformer in Transformer(TNT)网络是一种创新型的图像分类网络，能够解决图像分类任务中的局部性问题。TNT网络的核心思想是将大的patch再进行切片，在patch内部做一个Multi-Head Self-Attention，将key值共享在patch内部。这使得模型能够兼顾“局部性”以及计算量。