基于STM32+OpenMV的无人驾驶智能小车模拟系统源码+全部资料+详细文档（高分毕业设计）.zip

# 基于OpenMV的无人驾驶智能小车模拟系统  **项目作者：@[kelecn](https://github.com/kelecn)** If you cannot read Chinese, you can click here:[README-EN](/README-EN.md) ## 一、项目简介 基于机器视觉模块OpenMV采集车道、红绿灯、交通标志等模拟路况信息，实现一辆能车道保持、红绿灯识别、交通标志识别、安全避障以及远程WiFi控制的多功能无人驾驶小车。 **编程软件：** | 硬件模块 | 编程软件 | | :------: | :----------------------------------------------------------- | | OpenMV | 使用OpenMV官方的[OpenMV IDE](https://singtown.com/openmv-download/) | | ESP8266 | 使用Arduino官方的[Arduino IDE](https://www.arduino.cc/en/software) | | STM32 | 使用ARM官方的[Keil uVision5](https://www2.keil.com/mdk5)（ARM版） | **功能介绍：** | 硬件模块 | 功能实现 | | :------: | :----------------------------------------------------------- | | OpenMV | 主要是利用OpenMV进行路况信息（红绿灯、交通标志、车道）的采取，以及和STM32的通信，具体看OpenMV文件夹。 | | ESP8266 | 主要是利用ESP8266与手机端进行远程的指令接收和数据交互，以及和STM32的通讯，具体看ESP8266文件夹。 | | STM32 | 主要是通过ESP8266接收远程控制指令和处理路况信息，并根据这些指令数据进行实时的PID控制小车运动。具体看STM32文件夹。 | ## 二、硬件系统 本项目《基于OpenMV的无人驾驶智能小车模拟系统》，主要依靠机器视觉模块OpenMV通过图像处理的方式获取实时的路况信息，以及超声波传感器获取障碍物距离信息，得到的路况数据再通过串口传输到主控器STM32上面，STM32会将实时的路况信息处理成智能小车的运动控制指令，让智能小车实现红绿灯识别、交通标志识别以及车道实时保持的功能，还有STM32也会通过WiFi模块ESP8266与手机端进行路况数据和控制指令的远程交互。硬件系统框图如下：  下面简单介绍一下，整个系统用到的硬件模块。 | 硬件模块 | 型号 | | :----------: | ---------------------------------------------------- | | 主控器 | STM32F103ZET6(正点原子精英板F103) | | 视觉模块 | OpenMV4 H7 PLUS（STM32H750VBT6 +OV7725） | | 超声波传感器 | HC-SR04 | | WiFi模块 | ESP8266 | | 执行器 | 双路 H 桥电机驱动、直流电机、开发板自带的LED和蜂鸣器 | | 控制平台 | 安装Blinker APP的安卓/苹果手机 | | 其他 | 电源、模型车、导线若干等 | 具体的硬件电路连接框图如下:  ## 三、软件系统 #### 1、OpenMV中的路况识别算法实现 本项目的主要路况数据信息都是基于OpenMV摄像头获取的图像进行图像处理得到的。要实现智能小车的自动驾驶行为，最起码要让小车识别到红绿灯、交通标志以及车道，后续主控器才能根据这些路况数据信息控制小车的运动。关于机器视觉模块OpenMV，之前我在《[初探机器视觉模块OpenMV](https://kelecn.top/posts/9237/)》里面已经介绍过了，这里不再赘述。 ##### ①红绿灯识别 主要是对摄像头每帧拍摄到的图像进行图像进行阈值处理，再进行判断出现的究竟是哪种红绿灯（红灯、绿灯、黄灯），然后再将这个判定结果和其他两个数据一起打包通过串口发送出去。 **【程序流程图】**  **【主要程序】** ```python ###################################开始#################################### ... sensor.set_pixformat(sensor.RGB565) # 图片格式设为 RGB565彩色图 light_threshold = [(59, 100, 26, 127, -128, 127),(59, 100, -128, -40, -128, 127)]; #设置红绿灯阈值，默认为0无红绿灯 1红灯 2绿灯 4黄灯 ... #定义寻找色块面积最大的函数 def find_max(blobs): max_size=0 for blob in blobs: if blob.pixels() > max_size: max_blob=blob max_size = blob.pixels() return max_blob #主循环 while(True): clock.tick() #追踪两个snapshots()之间经过的毫秒数 img = sensor.snapshot() #拍一张照片，返回图像 blobs = img.find_blobs(light_threshold,area_threshold=150); #找到红绿灯 cx=0;cy=0;LED_color=0; #变量定义 if blobs: max_b = find_max(blobs); #如果找到了目标颜色 img.draw_rectangle(max_b[0:4]) #在Blob周围绘制一个矩形 #用矩形标记出目标颜色区域 img.draw_cross(max_b[5], max_b[6]) # cx, cy img.draw_cross(160, 120) # 在中心点画标记 #在目标颜色区域的中心画十字形标记 cx=max_b[5]; cy=max_b[8]; img.draw_line((160,120,cx,cy), color=(127)); img.draw_string(cx, cy, "(%d, %d)"%(cx,cy), color=(127)); LED_color=cy; #红绿灯的阈值是数组里的cy（二进制）个 print(LED_color); #串行终端打印出 红绿灯序号数据 ###################################结束#################################### ``` ##### ②交通标志识别 主要是利用NCC（Normalized Cross Correlation）归一化互相关算法来进行交通标志的图像识别与匹配。 **【NCC算法】** NCC算法的基本实现原理：主要是通过求两幅大小相近的图像的相关系数矩阵来判别两幅图像是否相关。假设需要识别的初始图片$g$的大小为$m×n$，摄像头拍摄到的图片S的大小为$M×N$，其中的以$(x,y)$为左上角点与$g$大小相同的子图像为$S_{(x,y)}$​​​​​​​​。具体的利用NCC算法实现计算图像相似度的方法如下： $\rho{(x,y)}$​​的定义为：随机变量$X$、$Y$的相关系数 $$ \rho{(x,y)}=\frac{\sigma(S_{x,y},g)}{\sqrt[]{D_{x,y}D}} $$ 式中：$\sigma(S_{x,y},g)$​是$S_{x,y}$​和$g$​的协方差； $D_{x,y}=\frac {1}{mn}\sum_{i=1}^{m} \sum_{j=1}^{n}{(S_{x,y}(i,j)-\overline S_{x,y})^2}$​​为$S_{x,y}$​​的方差； $D=\frac {1}{mn}\sum_{i=1}^{m} \sum_{j=1}^{n}{(g(i,j)-\overline g)^2}$​​​为$g$的方差； $\overline g$为$g$的灰度均值； $\overline S_{x,y}$​​为$S_{x,y}$​​的灰度均值； 将$D_{x,y}$​和D代入$\rho{(x,y)}$​，会有： $$ \rho{(x,y)=\frac{ \frac {1}{mn}\sum_{i=1}^{m} \sum_{j=1}^{n}{(S_{x,y}(i,j)-\overline S_{x,y})(g(i,j)-\overline g)}}{\sqrt[]{\frac {1}{mn}\sum_{i=1}^{m} \sum_{j=1}^{n}{(S_{x,y}(i,j)-\overline S_{x,y})^2}}\sqrt[]{\frac {1}{mn}\sum_{i=1}^{m} \sum_{j=1}^{n}{(g(i,j)-\overline g)^2}}}} $$ 其中，相关系数$\rho{(x,y)}$满足：$\rho{(x,y)\le1}$​。 $\rho{(x,y)}$越接近1，说明两幅图像越接近，也就是大图像的子集中越有可能包含有小图像。通过选取恰当的相关系数，我们就可以认为，相关系数大于该设定值的图像为所需识别的图像，也就是可以实现交通标识的识别。 **【程序流程图】**  **【主要程序】** ```python ###################################开始#################################### ... sensor.set_pixformat(sensor.GRAYSCALE) #设置图片格式为灰度图 #导入图片模板 template1 = image.Image("/1.pgm") #直行 template2 = image.Image("/2.pgm") #向右转弯 template3 = image.Image("/3.pgm") #向左转弯 template4 = image.Image("/4.pgm") #停车让行 t