基于深度学习的自动驾驶车辆的端到端控制器中的场景理解

深度学习技术已广泛用于自动驾驶社区，以实现对环境的感知。最近，它开始被用于学习复杂驾驶场景的端到端控制器。但是，网络体系结构的复杂性和非线性限制了其理解驾驶场景并判断感官场景中某些视觉区域的重要性的可解释性。在本文中，基于卷积神经网络（CNN），我们提出了两个互补的框架来自动确定输入场景的最有贡献的区域，从而提供了有关受过训练的端到端自动驾驶汽车控制器如何理解驾驶场景的直观知识。在第一个框架中，通过利用CNN可视化的最新进展提出了一种基于特征图的方法，其中反卷积方法恢复了特征图以提取对理解驾驶场景贡献最大的特征。在第二个框架中，区域的重要程度使用通过遮挡输入场景不同部分而生成的标记和预测控制输入之间的误差图来对区域进行分类，从而提供了像素级的重要程度。具有提取的贡献区域的测试数据集被输入到CNN控制器。然后，通过闭环测试验证了使用我们提出的框架进行了预处理的使用新数据集训练的不同CNN控制器。结果表明，从第一个框架中识别出的特征和从第二个框架中识别出的区域对于控制器的场景理解都至关重要，并且会显着影响CNN控制器的性能。