2021年全国大学生电子设计竞赛F题-送药小车.zip

# 2021电赛F题视觉分析+代码免费开源 > 最近好多小宝宝们要电赛题的源码，其他csdn营销号下载都需要会员或者钱，哥们先把视觉分析+代码开源，饿死营销号 视觉的一个任务是视觉上位机模块识别数字并进行滤波和判断处理，传指令给下位机；另一个任务是红线循迹。 不多bb，先上效果图： K210数字识别效果：  （我媛哥的手真好看） openmv红线循迹效果：  硬件工具：K210、openmv 软件工具：Maixpy IDE、OpenMV IDE IDE可到官网下载： https://www.sipeed.com/index.html https://singtown.com/openmv/  ## 1、K210数字识别、滤噪、判断 正常操作是上位机是识别，给下位机传数据，处理放到下位机；假如你有个坑比队友，处理还是放上位机干吧； 经过算法优化，现在几乎不存在掉帧。 ### 1.1 功能难点及对应函数实现分析 1、在小车行驶过程中，会存在数字不能完全进入视野中情况等存在有很多帧误识情况，要进行滤波处理 2、每一帧要做处理的同时每个目标值的矩形框进行处理，每个目标值的矩形框还要进行滤波 3、在上位机上不断的优化算法，减少掉帧 4、在Maixpy IDE中python 的numpy、pandas巴拉巴拉包都调不了 5、图中最多出现四个，但这里设了读六个矩形框，留两个容错，不然有误识别的直接死机 6、给下位机传送指令： 一开始初始化识别传送对应的数字 若为12，则后面不在传送指令 若为34，则后面路口处传"l"or"r" 若为5678，则后面两个路口传送两次"l"or“r” 7、设计思路 通过初始化函数识别一开始给入的数字并保存下来； 根据识别的情况进入不同的程序； 12号病房，识别完了以后是不用在路上在识别的，直接关掉程序； 34号病房，初始化识别完了，加两秒延迟，避免在开始的时候连续识别传指令，要在路上识别一次，要保证返回来的时候不识别不然又给32传指令了，还要保证初始化识别完了以后不会紧接着识别误认为是路上的标签给32传指令； 5678也一样，但是路上得识别两次穿两次指令； ### 1.2 YOLOV5神经网络模型训练 训练集：  测试集：  训练输出结果：  将通过拍摄3403张赛道数字照片，使用labellmg进行标签标定，制作数据集，yolov5训练 详细过程可看下面文章： https://blog.csdn.net/zhaohaobingniu/article/details/120397185?spm=1001.2014.3001.5502 https://blog.csdn.net/zhaohaobingniu/article/details/120255571?spm=1001.2014.3001.5502 注意：这里yolov5得到的是.pt文件，需要进行模型转换，转化成可以加载在K210板上的.kmodel模型（后面细讲） ### 1.3 K210操作步骤 #### 1.3.1 下载K210的IDE https://www.sipeed.com/index.html #### 1.3.2 烧入最新固件库 官方教程： https://wiki.sipeed.com/soft/maixpy/zh/get_started/upgrade_maixpy_firmware.html 更新固件库：  #### 1.3.3 将文件放入TF卡中 文件目录：  将上述文件全复制到tf卡中，tf卡插入k210 注意：tf卡先格式成FAT32格式，部分牌子的tf卡格式了也不能挂载到k210上，建议多换几张卡试试 #### 1.3.4 IED中查看效果 IDE中运行效果：  #### 1.3.5 通过串口调试助手测试指令通信 引脚9是TX，引脚10是RX，波特率为115200 通过usb转ttl连接到电脑上 初始识别数字为6，两次转向是向左  ### 1.4 上代码含详细注释 第一版： ```python import sensor,image,lcd,time import KPU as kpu from machine import UART from fpioa_manager import fm lcd.init(freq=15000000) sensor.reset() sensor.set_pixformat(sensor.RGB565) sensor.set_framesize(sensor.QVGA) sensor.set_hmirror(0) sensor.run(1) #加载yolov5模型 task = kpu.load("/sd/yolov5.kmodel") f=open("anchors.txt","r") anchor_txt=f.read() L=[] for i in anchor_txt.split(","): L.append(float(i)) anchor=tuple(L) f.close() f=open("lable.txt","r") lable_txt=f.read() lable = lable_txt.split(",") f.close() #设置RX、RT引脚 fm.register(9, fm.fpioa.UART1_TX, force=True) fm.register(10, fm.fpioa.UART1_RX, force=True) #设置串口通信 uart_A = UART(UART.UART1, 115200, 8, 1, 0, timeout=1000, read_buf_len=4096) anchor = (0.1766, 0.1793, 0.4409, 0.3797, 0.6773, 0.5954, 1.0218, 0.9527, 2.158, 1.6841) sensor.set_windowing((224, 224)) a = kpu.init_yolo2(task, 0.5, 0.3, 5, anchor) classes=["9","1","4","2","3","8","5","6","7" ] #全局变量，保存初始化识别的数字 intnum = 0 #初始化识别函数 def begin(intnum): TF = 1 #得分序列，放1-8识别的次数，每一帧识别成哪个，对应的位置加一，1-8哪个先到10即最终识别为哪个 List_score01 = [0]*8 while(TF): img = sensor.snapshot() #code是yolov5返回的每个矩形框的参数 #例图中出现两个目标区域的时候：[{"x":9, "y":99, "w":55, "h":82, "value":0.697979, "classid":8, "index":0, "objnum":2}, {"x":137, "y":105, "w":56, "h":67, "value":0.939132, "classid":4, "index":1, "objnum":2}] code = kpu.run_yolo2(task, img) #print(code) if code: for i in code: #画目标区域矩形框 a = img.draw_rectangle(i.rect()) a = lcd. display(img) list1=list(i.rect()) #print(classes[i.classid()]) #识别到的加1 List_score01[int(classes[i.classid()])-1] += 1 #print(List_score01) if(List_score01[0] >= 10): intnum = 1 #给下位机通信传指令 uart_A.write('1') #print(1) #退出初始化循环 TF = 0 if(List_score01[1] >= 10): intnum = 2 uart_A.write('2') #print(2) TF = 0 if(List_score01[2] >= 10): intnum = 3 uart_A.write('3') #print(3) TF = 0 if(List_score01[3] >= 10): intnum = 4 uart_A.write('4') #print(4) TF = 0 if(List_score01[4] >= 10): intnum = 5 uart_A.write('5') #print(5) TF = 0 if(List_score01[5] >= 10): intnum = 6 uart_A.write('6') #print(6) TF = 0 if(List_score01[6] >