在ESP32上实现基于红外热成像阵列传感器的手势识别.zip

本项目是一个基于ESP32的热成像手势识别系统，使用的传感器是AMG8833，这是一个I2C接口的，输出8x8温度数值的热成像传感器阵列，系统对传感器输出的温度数组进行双三次插值，得到24x24的温度数值送入预训练的模型进行推理，进行手势分类，其中，识别数字手势使用图像4分类（背景，手势1，手势2，手势3）的卷积神经网络,识别调节手势使用图像5分类（背景，张开，合拢远，合拢近，交叉）的卷积神经网络。 网络模型的训练在PC端，是使用ESP32串口回传的温度数据进行训练的，训练框架使用Keras，量化工具使用TensorFlowLite,训练完成的网络模型在边缘端ESP32上进行部署，ESP32的开发平台为VScode+PlatformIO IDE+Arduino,推理框架使用TensorFlowLite_ESP32提供的API函数 项目文件夹包含内容如下： 1.NetworkModel 包含存有数据集的文件夹dataset,模型训练脚本gesture_train.ipynb,已量化和未量化的tflite网络文件model.tflite,model_quantized.tflite