LOTVS-DADA:意外情况下的驾驶员注意预测

LOTVS-DADA 驾驶员注意力预测正成为类人驾驶系统中必不可少的研究问题。 这项工作试图在驾驶事故场景（DADA）中预测驾驶员的注意力。 但是，由于交通场景多变，事故类别错综复杂且不平衡，因此面临挑战。 在这项工作中，我们设计了一个语义上下文诱导的注意力融合网络（SCAFNet）。 我们首先将RGB视频帧分割成具有不同语义区域的图像（即，语义图像），其中每个区域表示场景的一个语义类别（例如，道路，树木等），然后学习RGB的时空特征。两条并行路径中的RGB帧和语义图像同时显示。 然后，将学习到的特征通过一个细心的融合网络进行融合，以找到驾驶员注意力预测中语义诱发的场景变化。 贡献是三倍。 1）通过语义图像，介绍它们的语义上下文特征，并验证清单提升效果，以帮助驾驶员注意预测，其中语义上下文特征是通过图卷积网络（GCN）在语义图像上建模的； 2）我们将注意力图像的语义上下文特征和RGB帧特