SiamNet:全卷积孪生网络用于视频跟踪

图一SiamNet网络结构。搜索区域x,输出的是一个得分图， 所谓的得分就是相似度度量，得分图的维度是由搜索图像块决定（样本模板和搜索区域进行密集交叉相关）。代表的是一种特征映射操作，将原始图像映射到特定的特征空间传统意义上，任意目标跟踪问题采用在线学习目标的形貌特征完成。尽管这些在线的方法已经取得了非常好的结果，但是啊仅仅在线的方法本身具限制了模型学习的丰富性。最近，一些学者开始利用深度卷积网络的强大特征表达能力。然而，当跟踪的目标事前并不知道情况下，我们有必要采用SGD在线调整网络的权重，这严重的降低了系统的速度。 《SiamNet:全卷积孪生网络在视频跟踪中的应用》 SiamNet是一种创新的全卷积孪生网络架构，专为视频跟踪任务设计。传统的目标跟踪方法依赖于在线学习目标特征，虽然取得了良好的效果，但这种方法的局限性在于无法充分挖掘模型的潜力。随着深度学习的发展，尤其是深度卷积网络(CNN)的兴起，学者们开始探索利用其强大的特征表达能力来提升跟踪性能。然而，在目标未知的情况下，需要在线调整网络权重，这极大地影响了系统速度。 SiamNet的独特之处在于引入了全卷积孪生网络结构。该网络采用端到端的训练方式，其中Siamese网络在ILSVRC15数据集上进行训练。这种设计使得跟踪器能够高效且准确地执行实时跟踪，即使在复杂环境中也能保持稳定性能。 网络的训练过程分为数据准备和损失函数设计两个主要步骤。在数据准备阶段，使用正样本（目标）和负样本（非目标）构建exemplar-candidate对，形成训练集。正样本通常是连续帧间的同一目标，而其余候选对则视为负样本。搜索区域的确定通常基于前一帧目标的中心位置，以预设尺寸扩展得到。 损失函数的设计至关重要。SiamNet采用判别式掩模，通过交叉互相关计算目标和搜索区域的相关程度。为了适应卷积后图像尺寸的变化，作者通过调整采样步长(stride)将金标准掩模转换为得分图的尺寸。同时，他们采用了一种相对宽松的正负样本定义，以增强分类的清晰度，并应用余弦窗权重来处理可能的位移误差。对于尺度变化，SiamNet扩展了搜索空间到尺度域，允许在不同尺寸上进行匹配。 目标尺寸的规范化是SiamNet处理的关键问题。所有目标被统一调整为127*127的尺寸，通过添加边缘填充和尺寸调整实现。此外，作者引用了He等人在2015年ICCV会议上提出的深度残差网络（Rectifiers）研究成果，探讨了尺度变换的问题。然而，实验表明在线实时更新模板并未带来显著改善。 SiamNet的简洁设计开创了跟踪领域的新的研究方向。它的孪生网络结构，即两分支共享权重的卷积层，极大地提高了跟踪效率。这一创新不仅简化了网络架构，而且在性能上达到了实时跟踪的标准，对后续的跟踪算法产生了深远影响。