使用C++和Python实现的基于卷积神经网络的校园垃圾识别系统实现 毕设

# 基于卷积神经网络的校园垃圾识别系统实现 # 1 需求分析 ## 1.1 功能需求 ### 1.1.1 基本功能 1. 客户端拥有对常见校园垃圾的识别能力 2. 客户端可以上传识别结果 3. 服务器可以接受并储存终端的识别结果 ### 1.1.2 扩展功能 1. 客户端与客户端之间可以进行关于垃圾回收消息的实时交流 2. 服务器可以储存用户信息 3. 浏览器可以实时访问识别结果 ## 1.2 数据需求 ### 1.2.1 C/S 架构客户端数据需求 1. 实时识别的图像数据与字符串形式的识别结果 2. 字符串形式的用户信息 3. 字符串形式的聊天消息 4. 对GUI控件的操作信号 5. 套接字文件 ### 1.2.2 C/S 架构服务器数据需求 1. 字符串形式的识别结果 2. 字符串形式的聊天信息 3. 字符串形式的用户信息 4. 套接字文件 5. 字符串形式的数据库信息 ### 1.2.3 B/S 架构浏览器数据需求 对垃圾识别系统的整体情况的字符串显示 ## 1.3 界面需求 ### 1.3.1 C/S 架构客户端界面需求 当前客户端摄像头图像的呈现 识别按钮与识别结果呈现的文本框 用户信息（用户名，登录地址、端口）的输入文本 框以及对应的登录登出聊天室按钮 聊天消息输入文本框与发送按钮 实是聊天信息显示文本框 ### 1.3.2 C/S 架构服务器端界面需求 显示当前服务器的命令行打印 ### 1.3.3 B/S 架构浏览器界面需求 显示垃圾回收整体情况的器html界面 ## 1.4 开发运行环境需求 ### 1.4.1 客户端开发环境需求 Windows操作系统 mingw套件(g++\make\gdb) cmake构建工具 QT6框架(mingw编译版） opencv4框架（mingw编译版） c++11标准库 ### 1.4.2 客户端运行需求 QT6动态链接库 opencv4动态链接库 Windows动态链接库 mingw运行时动态链接库 ### 1.4.3 服务器开发运行环境需求 linux操作系统（raspbian发行版） GNU套件（g++\make\gdb） mariadb数据库及开发套件 ### 1.4.4 其他环境需求 chromene内核浏览器 # 2 概要设计 ## 2.1 主要数据结构 ### 2.1.1 服务器线程队列 服务器由于是多线程的实现，必然有多线程装载的容器，本程序选取了C++标准库的vector数据结构进行开发 其构造为：  Vector是动态空间，随着元素的加入，它的内部机制会自动扩充空间以容纳新元素，因此vector的运用对于内存的合理利用与运用的灵活性有很大的帮助了。 Vector所采用的数据结构非常简单， 线性连续空间， 它以两个迭代器-Myfirst和-Mylast分别指向配置得来的连续空间中目前已被使用的范围， 并以迭代器-Myend指向整块连续内存空间的尾端。 为了降低空间配置时的速度成本，vector实际配置的大小可能比客户端需求大一些，以备将来可能的扩充，倍增扩容使均摊时间复杂度降至O(n)复杂度。 在本程序的运用中改数据结构实现了服务器端的线程池，显然，任何接口都不是线程安全的。 ### 2.1.2 用户信息词典 用户信息是用户名-回收垃圾数的键值对而且键唯一， 所以选择了C++标准库中的map数据结构进行开发其底层 构造为：  map维护了一颗红黑树，以保证搜索效率在O(logn) 复杂度左右， 红黑树是一棵二叉搜索树， 它在每个节点增加了一个存储位记录节点的颜色，可以是RED也可以 是BLACK；通过任意一条从根到叶子简单路径上颜色的 约束，红黑树保证最长路径不超过最短路径的二倍，因而近似平衡，用红黑颜色标记的办法改进了AVL树。 在API调用上，对用户提供抽象的键值对接口。 ## 2.2 程序总体结构 ### 2.2.1 模块调用图 抽象的整体设计如下：  细化后面向对象的UML设计图如下：  服务器采用了简单的组合模式，一方面是因为线程池逻辑在本次开发中较为简单，另一方面则是在抽象关系中显然得包含关系。  客户端采用了中介者设计模式， 将client_app类作为中介者负责对实现不同功能的类间的调度与消息传递，用一个中介对象来封装一系列的对象交互，中介者使各对象不需要显式地相互引用，从而使其耦合松散，而且可以独立地改变它们之间的交互。同时也正好藕合QT库中的按 钮逻辑绑定机制。 ### 2.2.2 主程序流程图 流程图如下  # 3 详细设计 ## 3.1 基于 pytroch、onnx 的分类卷积神经网络垃 圾识别模块 ### 3.1.1 网络架构设计 考虑到我们的任务是分类， 所以选择了经典的AlexNet卷积神经网络， 拥有五个卷积层提取featuremap，卷积层中间也有池化层对特征进行固定，通过训练 将数据集中的低层特征训练为卷积核上的权重；在五个卷积层后还有两个全连接层进行高层语义的提取，为了防止过拟合， 还设有dropout率最后通过200分类输出分类信息。 其示意图如下：  ### 3.1.2 数据集准备 针对这个任务，选择的数据集是的百度垃圾识别数据集，原图片大小为720x540，为了适应网络的输入输出尺 寸，将resize成224x224尺寸，共43751张图片158类垃圾类别，如下图所示  ### 3.1.3 训练结果 最终，在GPU的训练环境下取得了80%以上准确率的结果，如下下图所示  ## 3.2 基于 linuxsocket、Qwebsocket 的 TCP/IP 协议网络通信模块 ### 3.2.1 协议选择 经过了解很多IM软件的通信协议都选择的是UDP协 议, 但这是出于长距离不稳定传输的的考虑，而本次课设开发的系统是在校园网环境下进行工作的，稳定的网络环境，故选择TCP协议也是合适的。 ### 3.2.2 通信的流程 本次课设选择的原生的linux socket套接字API作为服务端实现，其TCP协议服务流程如下：  而在客户端，考虑到与qt控件的按钮逻辑更好的契合 度，选择了qt库中的socket实现，利于按钮逻辑对通信函数的回调 ### 3.2.3 自定义的数据报规约 请求数据报规约：按照功能，一共有三种可能的信息请求方式，聊天请求、上传记录请求、浏览器查看整体情况请求、所以将这三种情求分别封装成以下三种数据报报头，方便提供对应的不同服务  ## 3.3 基于 C++11 平台无关线程库的多线程实现 ### 3.3.1 多线程需求分析 显然，在客户端，qt的GUI控件逻辑和websocket逻辑是多线程的轮询机制实现的，由于调用了第三方库，所以不用手动实现。 当然客户端的终端通信方法是要考虑的输入的拥塞机制和读和写两件并行的需要，所以需要进行并发编程。另一方面考虑到进程开销过�