基于计算机视觉手势识别控制系统YoLoGesture (利用YOLO实现)+数据集+源代码+文档说明

# 基于计算机视觉手势识别控制系统YoLoGesture (利用YOLO实现)  Streamlit在线服务器体验网址： [https://kedreamix-yologesture.streamlit.app/](https://kedreamix-yologesture.streamlit.app/) HuggingFace在线服务器体验网址：[https://huggingface.co/spaces/Kedreamix/YoloGesture](https://huggingface.co/spaces/Kedreamix/YoloGesture) - [1. 项目已完成的部分](#1-项目已完成的部分) - [2. 部分尝试结果](#2-部分尝试结果) - [3. 项目整体框架](#3-项目整体框架) - [3.1. 数据集构建](#31-数据集构建) - [3.2. 模型选择](#32-模型选择) - [3.3. 代码实现](#33-代码实现) - [4. 实验结果详情](#4-实验结果详情) - [4.1. 训练权重文件下载](#41-训练权重文件下载) - [4.2. 数据集概况](#42-数据集概况) - [5. 环境配置](#5-环境配置) - [6. 快速运行代码](#6-快速运行代码) - [7. 训练预测细节解释](#7-训练预测细节解释) - [7.1. 训练配置文件（重点）](#71-训练配置文件重点) - [7.2. 训练自己数据集](#72-训练自己数据集) - [7.3. 使用Tensorboard可视化结果](#73-使用tensorboard可视化结果) - [7.4. 预测步骤](#74-预测步骤) - [7.5. 评估步骤](#75-评估步骤) - [8. Streamlit 项目部署](#8-streamlit-项目部署) - [8.1. 本地运行](#81-本地运行) - [8.2. 检测方法](#82-检测方法) - [8.3. 选择模型以及参数](#83-选择模型以及参数) - [9. 参考Reference](#9-参考reference) - [10. 代码权重可复现，已开源（求🌟🌟🌟）](#10-代码权重可复现已开源求) ## 1. 项目已完成的部分 - [x] 数据集的构建 - [x] 代码的基本运行和训练 - [x] 增加数据集 800 -> 1600 - [x] 利用Mosaic数据增强，但是结果不好，之后训练不会采用，除非数据足够多 - [x] 增加yaml文件，利用yaml配置所有参数 - [x] 提高图片的输入shape，从256x256 -> 416x416 - [x] 由于结果不理想，使用部分自制数据集替换，数据集总数不变 - [x] 添加yolov4 tiny 轻量化模型 - [x] 增加注意力机制，可以比轻量化模型得到更不错的结果 <!-- 使用MobileNet作为backbone，轻量化模型 使用yolov5 或者 yolox 改进方法 --> ## 2. 部分尝试结果 - [x] 使用Mosaic 结果较差 - [x] 在运行过程中结果十分差，原因是数据集标注出现错误，会重新修改数据集 - [x] 用SGD的结果没有Adam好 - [x] front的数据集需要重新修改才能得到更好的结果 - [x] 使用tiny模型速度更快，结果虽然差一点，但是只是一个速度与精度的trade off ## 3. 项目整体框架 1、 了解项目研究的背景以及其意义，学习其中的创新点和科研价值。 2、 使用python语言对项目中的代码进行编写。研究项目源代码，理解项目工程的代码结构、原理及其功能。 3、 学习深度学习算法。理解卷积神经网络的相关概念，包括神经元系统、局部感受野、权值共享和卷积神经网络总体结构；了解目前常见的目标检测方法和YOLOv4算法框架，以及基于YOLOv4的手势识别算法。 4、 设计并制作针对本项目手势控制数据集，并使用数据增广的方式对数据集进行扩充，同时使用图像处理的方法包括中值滤波、阈值分割等对数据进行预处理。 5、 训练模型，对目标检测性能进行测试。了解实验环境以及评价标准，测试本项目研究的手势识别算法的实验结果，然后通过采用控制变量方法对手势识别算法进行多组实验，以评估其在不同环境下的识别效果，使用验证集对手势识别算法的精度和速度进行性能测试。 6、 总结本项目的研究工作，对基于无人机的手势识别演剧提供创新点与发展建议。 ### 3.1. 数据集构建 1. 设计并制作针对本项目手势控制数据集，对数据集进行分类。  2. 使用Labelimg标注工具设计针对本项目的手势数据集，对数据集进行标注。  ### 3.2. 模型选择 在前期的模型选择中，简单的选择了YOLOv4的模型进行训练和测试 **YOLOv4 = CSPDarknet53（主干） + SPP** **附加模块（颈** **） +** **PANet** **路径聚合（颈** **） + YOLOv3（头部）**  ### 3.3. 代码实现 - [x] 主干特征提取网络：DarkNet53 => CSPDarkNet53 - [x] 特征金字塔：SPP，PAN - [x] 训练用到的小技巧：Mosaic数据增强、Label Smoothing平滑、CIOU、学习率余弦退火衰减 - [x] 激活函数：使用Mish激活函数 - [x] 增加yaml配置文件，只需要修改配置文件即可 - [x] 添加detect.py，利用此进行半自动标注，可以方便标注其他类似于对应👋的数据集 - [x] 修改成命令行运行的快速模式，很方便，快速运行和理解 - [x] 利用streamlit部署到服务器上，可以随时使用，在线demo [https://kedreamix-yologesture.streamlit.app/](https://kedreamix-yologesture.streamlit.app/) - [ ] ...... ## 4. 实验结果详情 | 训练数据集 | 权值文件名称 | 迭代次数 | Batch-size | 图片shape | 平均准确率 | mAP 0.5 | fps | | :--------: | :----------------------------------------------------------: | :------: | :--------: | :-------: | :--------: | :-----: | ----- | | Gesture v1 | yolo4_gesture_weights.pth | 150 | 4->8 | 256x256 | 61.65 | 51.66 | | | Gesture v2 | yolo4tiny_gesture_SE.pth | 100 | 64->32 | 416x416 | 83.6 | 95.18 | 76.08 | | Gesture v2 | yolo4tiny_gesture_CBAM.pth | 100 | 64->32 | 416x416 | 89.35 | 98.85 | 70.01 | | Gesture v2 | yolo4tiny_gesture_ECA.pth | 100 | 64->32 | 416x416 | 88.37 | 96.26 | 77.19 | | Gesture v2 | yolo4tiny_gesture.pth | 100 | 64->32 | 416x416 | 87.01 | 95.86 | 81.81 | | Gesture v2 | yolo4_gesture_weightsv2.pth | 100 | 4->8 | 256x256 | 84.51 | 90.77 | 24.21 | | Gesture v3 | [yolov4_tiny.pth](https://github.com/Kedreamix/YoloGesture/releases/download/v1.0/yolov4_tiny.pth) | 150 | 64->32 | 416x416 | 75.05 | 91.30 | | | Gesture v3 | [yolov4_SE.pth](https://github.com/Kedreamix/YoloGesture/releases/download/v1.0/yolov4_SE.pth) | 150 | 64->32 | 416x416 | 78.06 | 90.13 | | | Gesture v3 | [yolov4_CBAM.pth](https://github.com/Kedreamix/YoloGesture/releases/download/v1.0/yolov4_CBAM.pth) | 150 | 64->32 | 416x416 | 91.09 | 94.97 | | | Gesture v3 | [yolov4_ECA.pth](https://github.com/Kedreamix/YoloGesture/releases/download/v1.0/yolov4_ECA.pth) | 150 | 64->32 | 416x416 | 94.58 | 83.24 | | | Gesture v3 | [yolov4_weights_ep150_416.pth](https://github.com/Kedreamix/YoloGesture/releases/download/v1.0/yolov4_weights_ep150_416.pth) | 150 | 64->32 | 416x416 | 95.145 | 98.35 | | | Gesture v3 | [yolov4_weights_ep150_608.pth](https://github.com/Kedreamix/YoloGesture/releases/download/v1.0/yolov4_weights_ep150_608.pth) | 150 | 64->32 | 608x608 | 93.64 | 97.23 | | > Gesture v1中存在数据集问题，所以模型结构不好 > > Gesture v2中重新修改数据集 > > Gesture v3中修改front数据集 Batch-Size 64->32是指在�