2021电赛D题国一作品方案开源.zip

# 2021电赛D题方案 作品演示看[这里](https://www.bilibili.com/video/BV1K3411x7Ta) ## 文件夹构成 raspberry: 摄像节点A和B代码和配置文件，使用同一套代码，只有IP配置不同 ## 摄像节点端详解 摄像节点所做的事非常少，总共分为两件事 * 读取usb摄像头的图像并显示 * 监听8001端口，如果有设备连接上来，就开始进行图像传输 #### 依赖的库 python版本：python3.6及以上 只需要opencv和opencv_contrib #### send.py 该文件定义了一个Send类，基于TCP协议，监听本地端口，同时提供了传输图像的函数 主要特性如下 * 支持掉线重连，方便调试，不会出现在调试nano端图像处理代码时，每次启动代码还要重启节点的代码 * 将二维图像降维成一维并编码压缩，在nano端恢复 * 在传输图像的同时传输时间，因为网络延迟的原因，nano端接收到图像的时间其实是不准的， 通过在发送时将发送时间一并发送，可以保证网络出现延迟时nano端收到的时间是准确的 * 传输图像的可靠性由TCP协议保证 #### fix_distortion.py 该文件提供了摄像头畸变矫正功能，是我的队友张同学用matlab计算参数提供，据他说可以矫正畸变， 但是我的肉眼不能分辨添加之后是否有不同，是否有该文件对结果没有任何影响。 #### raspberry.py 树莓派端的主文件，实现了读取视频流和传输视频，需要指出以下几点 1. 创建的显示图像的窗口需要自适应大小，同时设置始终置顶 2. 读取图像和传输图像需要使用双线程以解决帧滞留问题（该问题导致去年省赛识别题只拿了省二，具体定义可以百度） 3. usb摄像头分辨率为480P，即640*480，使用千兆交换机传输帧数每秒可达25帧以上 #### 图像传输协议 * 首先传送16个字节，该字节表示该图像发送时的时间 * 其次再次传送16个字节，该字节表示图像数据的长度 * 压缩后的图像数据直接跟在后面 #### 节点IP配置 终端输入sudo vim /etc/network/interfaces，内容改为本仓库中raspberry/interfaces的内容 #### 开机自启动配置 在/home/pi/.config/autostart(如果没有该目录就创建它)，将本仓库中raspberry/opencvtest.desktop复制进去， 该文件中Exec=/home/pi/opencvtest/opencvtest.sh表示需要执行的shell脚本的路径，编写一个shell脚本启动程序就可以了 ## Nano终端 Nano终端负责接收图像显示、激光笔识别和测量相关 #### 依赖的库 依赖的库比较少，就不提供requirements.txt了 python版本：3.6及以上 * numpy * opencv_python * opencv_contrib_python * imutils * pyserial #### 识别方法 激光笔为黑色激光笔，实际场景中在视野里没有比激光笔更大的黑色色块， 所以只需要先去除掉面积过大的黑色色块，再选取剩下的色块中面积最大的， 即可认为是激光笔。识别流程如下： 1. 为了程序阈值鲁棒性，采用hsv图像来进行颜色识别 2. 对hsv图像二值化，阈值通过hsv的色表查询 3. 对二值化后的图像寻找轮廓并按面积排序 4. 选取面积小于一定阈值且面积最大的色块，该色块就是激光笔 #### 测量方法 * 寻找到激光笔后，记录摆动周期，每一帧的时间通过图传协议接收得到， 同时记录激光笔再两路摄像头中横坐标最大摆动之差。经过计算， 平均摆动时间为2s-2.5s之间，所以测量10个周期去掉两个最大值和两个最小值取平均， 可以使结果更加精确。 * 首先计算角度，公式为tan(theta) = x1/x2，求一个反正切就可以得到角度， 科式力对与角度的影响再短时间内（基本为1分钟）摆动时影响不大， 注意松手时不要手抖。 * 计算完角度后，根据角度计算周期，如果角度小于5度，那么认为B节点测量是准确的， 如果角度大于85度，那么认为A节点测量是准确的，否则用A、B节点的平均值作为周期。 * 周期的公式为L=T^2\*g/(4\*pi^2) * 这里我们担心再0度和90度时角度会测量不准，所以加了一个小trick， 我们启动的按键有4个，其中3个是相同功能，另外一个按下后， 测量到的角度一定会小于5度或大于85度，不过实际测量时效果很好， 所以这个小trick并没有用到 #### read.py 图像传输client端，提供了读取视频并解码的功能。 #### search.py 提供了识别和测量T和delta_x的功能，因为两路摄像头其实是做相同功能， 所以封装成一个类，使用时只需要实例化两个对象，方便复用。 该类里再识别和计算中有很多trick，以下稍微简述，详情可以看代码： * 因为激光笔会有反光，所以我们没有直接使用hsv中标准黑色阈值，我们提高了明亮度 * 如果一个黑色色块在图像边缘，那么就忽略他 * 我们除了画边框之外，还画上了坐标，很多同学以为自己是功能做的不够多， 其实更多的是因为界面好不好看，你把结果大大的画在图像上， 肯定比用命令行print给评委老师印象好，你的界面上有一些随时变换的数值， 有一些花花绿绿的线条、方框，评委老师就会觉得你做的很好， 这样你从一开始就已经赢其他队伍太多了。 #### usart.py 封装了串口相关类，提供了包括和32单片机自检，接收开始测量命令， 返回测量结束指令，比较指令是否一致 #### some_image.py 创建空白图像，可以将测量后的结果画在这些空白图像上，比用print打印结果更好 #### algorithm.py 提供了计算线长和角度的函数。注意计算线长时， 得到的长度是激光笔几何中心所在点对应的线长，需要对结果减去一个常量 #### nano.py 程序主入口，具体工作流程如下： 1. 创建两个线程分别创建socket连接并读取图像 2. 主线程使用copy()方法获取图像拷贝，防止识别时图像对象改变 3. 上电后需要自检，具体方法是上位机向下位机发送自检命令，下位机返回一个自检命令表示自检通过 4. 识别时因为使用的是拷贝，所以在你下一次识别时， 不能确定接收线程是否已经接收到另一帧图像，所以需要进行一个判重操作， 否则会对一帧图像多次处理 5. 通过串口接收到测量指令后，会将图像传给A、B两个Search对象， 通过查询对象内的T和dealt_x是否为None，可以得到是否测量结束 6. 根据当前不同的状态，在空白图像里绘制出当前状态或测量结果 7. 画椭圆的代码太复杂，目前不太好整理，这里先不添加画椭圆的办法， 这里先开个坑，等到以后想到怎么简化代码后在添加