基于Python的车辆大规模精准搜索【100010112】

> # ♻️ 资源 > **大小：** 6.04MB > **文档链接：**[**https://www.yuque.com/sxbn/ks/100010112**](https://www.yuque.com/sxbn/ks/100010112) > **➡️ 资源下载：**[**https://download.csdn.net/download/s1t16/87280663**](https://download.csdn.net/download/s1t16/87280663) > **注：更多内容可关注微信公众号【神仙别闹】，如当前文章或代码侵犯了您的权益，请私信作者删除！** >  # 车辆大规模精准搜索 ## 一、摘要 车辆大规模精准搜索（以下简称车辆检索）在实际应用中具有非常重要的意义。与其他对象检索任务类似，车辆检索任务可以定义为：给定两部分图片数据 ref(车辆图片数据库)和 query(测试车辆图片)，目标是对 query 中每张测试图片在 ref 中找出所有属于相同车辆的图片。在课程项目中，我们的任务是对 query 中每张测试图片在 ref 中找出所有属于相同车辆的图片并排在查找结果的前面，采用 MAP@K 方法对算法结果进行评测。 我们将车辆大规模精准搜索的任务划分为车辆型号（model）识别任务和车身颜色识别任务这两个子任务。在车辆型号识别任务中，我们使用了基于迁移学习的深度卷积神经网络模型算法来判断车辆型号。使用的深度卷积神经网络模型包括 VGG16、Inception_V3 和 ResNet50 等，将这些模型进行迁移学习，能使其在训练集上达到 97% 的型号正确分类效果；车身颜色识别任务使用了基于 OpenCV 的 HSV 颜色识别算法。将两个子任务结合就可以实现车辆精准识别的任务，我们的算法在测试集上达到非常优异的识别效果。 ## 二、项目意义 图像中特定目标的识别一直是计算机视觉领域的研究热点，车辆图像识别不论在民用还是军用方面都具有重要意义。在民用方面，车辆识别推进了智能交通、电子收费、车辆监管、安防等领域的应用；在军用方面，车辆识别对战场环境中车辆（坦克、步兵战车等）的部署动态，识别与跟踪，精确打击等方面都发挥着关键作用。 城市化进程的推进、汽车保有量的增加、城市交通及车辆出入口管理要求的提高，互联网、物联网、云计算、大数据技术的发展，推动着人工智能技术在车辆识别场景中的快速发展。 尽管有如此迫切的现实需求，车辆精准搜索任务在实际应用中依然存在不少挑战。它们主要来自于四个方面： 1、车辆所处于的背景环境复杂多变，如何在识别过程中过滤图片背景信息，使算法只关注于车辆本身是一大挑战； 2、车辆图像易受光照、天气等外界因素干扰，造成车身模糊或图片整体模糊的现象，如何消除这些干扰是另一大挑战； 3、车辆图像拍摄角度和高度的不同会导致车辆出现一定程度的形变和尺度变化，如何克服这些变化也是一个挑战； 4、车辆品牌、型号、颜色众多，不同品牌车辆存在外形相似的情况、相同型号车辆存在颜色不同的情况。精准的车辆识别要求我们建立庞大的车辆数据库，并能对这些车辆特征进行有效的提取； 为了解决上述问题，人们提出了许多算法。这些算法中有些在解决某一特定问题场景有非常优秀的表现。我们设计的识别算法，就是在吸收不同算法的优点的基础上实现的。 ## 三、研究现状 要解决复杂环境中车辆识别的问题，首先需要了解车辆识别流程。车辆图像识别通常分为两个阶段： 1、样本训练阶段：对大量标签样本进行图像预处理、提取目标特征后，建立车辆目标特征集，再采取相应的学习算法进行分类训练。 2、图像目标识别阶段：按照图像预处理、提取目标特征、目标分类识别的步骤、最终确认测试图像中车辆属性。 ### （一）图像预处理 图像预处理是为了增强图像的可续性。外部环境因素和成像系统自身噪声的干扰，是 CCD 摄像机和图像采集卡获取静态图像的主要降质原因。针对系统自身噪声，常用的方法有滤波、灰度变换、二值化、图像复原、图像增强、形态学处理等。 #### 1、背景环境处理 对背景环境处理是为了背景与车辆有效分离，主要包括车辆检测和背景去除两部分。 背景检测方法有：基于模型、基于背景属性。 模型方法：利用有关场景、目标、光照的先验知识构建背景模型； 属性方法：通过分析背景亮度、梯度、色彩、纹理等信息，对背景区进行标识。具普适性，逐渐成为主流方法。 背景去除的目的是将背景区的颜色、亮度和纹理与车辆区域状态进行区分，再将其去除。常用到的方法有：基于泊松方程的背景去除、基于梯度域的背景去除、使用子区域匹配亮度转移的背景去除等。 #### 2、光照和天气处理 光照和天气会造成图像中车辆对比度降低，边缘轮廓信息模糊，给车辆识别带来严重干扰。 通常采用基于图像增强和基于物理模型两类方法。图像增强优势在于图像处理算法较为成熟，其原理是改进常用的图像增强算法来调整图像亮度或对比突出局部细节信息，能从某些角度有限的改善图像品质并获取有价值的信息；缺点是由于没有考虑图像降质的本质原因，图像或多或少会出现失真或信息丢失的情况。物理模型是基于大气退化模型或先验知识来复原退化图像，能更贴近的还原真实场景，对复杂场景的图像处理效果较好。 当前，一些优秀的算法都是在基于偏微分方程、深度关系、先验知识等算法上进行改进，取得了较为理想的效果。 #### 3、角度和高度处理 拍到的画面中经常会出现车辆被物体或车辆间相互遮挡的情况，对车辆识别形成很大的干扰。解决地物遮挡的方法主要有特征模型、统计模型、推理和三维模型。特征模型和统计模型的方法应用最为广泛。 特征模型：算法运算较为复杂，易受环境中不相关物体的干扰；统计模型：仅依赖统计上的差异，可靠性不高；推理模型：对车辆轨迹、位置等先验信息依赖性强，相对简单的场景下处理遮挡效果优良，复杂场景下效果仍有待提升。 #### 4、车辆品牌、型号、颜色处理 针对车辆大规模识别以前多以对车辆的车牌进行识别，同时通过比对交通运输部门的数据库提供的信息来进行车辆的识别。随着图像处理、拍摄和传输技术的发展，也只能进行小规模的车辆检索识别。 主要的方法：基于车牌的品牌识别，灰度阈值分割法车型识别，图像背景插值法车型识别，基于色差和彩色归一化的车身颜色识别，基于去雾和高光修复的车辆颜色识别。 ### （二）车辆特征提取 车辆识别中常用的特征有：视觉特征、全局不变量特征和局部不变量特征。 视觉特征包括：灰度、亮度、对比度、几何特征（形状、长宽比）等；全局不变量特征包括：矩不变量和傅里叶描绘子等；局部不变量特征包括括：角点、SIFT 特征和轮廓描述等。ps：由于复杂环境背景下存在噪声较大、局部遮挡等情况，利用局部不变量特征进行识别是非常有效的方法。 特征提取典型的�