Multi-Pose Multi-Target Tracking for Activity Understanding

We evaluate the performance of a widely used trackingby- detection and data association multi-target tracking pipeline applied to an activity-rich video dataset. In contrast to traditional work on multi-target pedestrian tracking where people are largely assumed to be upright, we use an activity-rich dataset that includes a wide range of body poses derived from actions such as picking up an object, riding a bike, digging with a shovel, and sitting down. For each step of the tracking pipeline, we identify key limitations and offer practical modifications that enable robust multi-target tracking over a range of activities. We show that the use of multiple posture-specific detectors and an appearancebased data association post-processing step can generate non-fragmented trajectories essential for holistic activity understanding. 在讨论多姿态多目标跟踪问题时，我们首先需要了解其在理解活动中的重要性。在传统的多目标跟踪研究中，通常假设行人是直立的，但在现实世界中，人们的活动姿态是多种多样的。考虑到这一点，研究人员对现有的跟踪算法进行了评估，并对一个包含广泛身体姿态的活动丰富视频数据集进行了应用。通过这一实践，研究人员识别出了跟踪流程中的关键局限性，并提出了实际的修改建议，以实现跨越多种活动的稳健多目标跟踪。此外，研究还展示了如何使用特定姿态的检测器和基于外观的数据关联后处理步骤来生成连贯的轨迹，这对于全面理解活动是至关重要的。 在探讨多目标多姿态人体跟踪的任务时，研究人员利用了当前的跟踪范式——基于检测和数据关联的跟踪。这一范式的进步得益于鲁棒的特定类别的对象检测器的发展。例如，粗略的基于部分的模型（例如，5到15个部分）在检测、表示和跟踪直立人群方面效果显著。然而，这些方法在城市环境中效果良好，例如行人走在人行道上或在地铁站中的人群，但当人们从事其他活动，如骑自行车、挖掘或推车时，困难就会出现。尽管存在全身姿态估计的方法，但这些方法通常假定全身部分的可见性。因此，在本项研究中，研究人员的目标是分析包含除步行和站立之外的广泛人类活动的监控视频。 研究人员使用了一个活动丰富的数据集，并对最先进的多目标跟踪进行了评估，同时指出其强度和局限性。他们提出了实际的修改建议，使得在各种活动下都能进行稳健的多目标跟踪。研究结果表明，使用多个姿态特定的检测器和基于外观的数据关联后处理步骤可以生成对于整体活动理解至关重要的非碎片化轨迹。 通过这些工作，我们能够了解到多目标多姿态跟踪在活动理解中的应用，它不仅仅局限于监控行人，而是扩展到了包含更多类型活动的场景。这在智能视频监控、人机交互、自动驾驶车辆等领域有着重要的应用价值。尤其是在理解人类行为和活动模式方面，能够提供更加丰富和精确的信息，这在安全监控和行为分析方面尤为重要。 具体来说，通过使用多个姿态特定的检测器，可以更加精确地跟踪那些身体姿态发生显著变化的个体，这样不仅增强了个体的跟踪准确性，也提高了整体场景的理解能力。而基于外观的数据关联后处理步骤则在提高跟踪轨迹连贯性方面起到了关键作用。这种方法能够整合来自不同姿态检测器的信息，通过外观特征来更好地识别和关联目标，从而减少错误的跟踪和目标丢失的情况。 这项研究对于多目标多姿态跟踪领域是一个重要的进步。它不仅识别并解决了现有技术的局限性，还提出了一种新的方法来处理和分析复杂场景中的活动。这为未来的跟踪算法设计和活动理解研究提供了一个新的视角和工具，对于增强人与技术的互动以及智能环境中的信息获取具有深远的影响。