# 基于多模式联合的智能室内运动交互系统
### 实现功能:
1、基于BlazePalm的手势检测与操控系统设计,通过视频流的图像检测得到手关节的坐标点,通过坐标点建立数学模型,构建一个基于手势动作的操控系统,优化模型以便得到较好的控制效果。
2、基于BlazeFace的人脸检验和基于卷积神经网络的人脸识别监测,提取人脸信息稳定帧,对采集到的视频帧进行人脸检测和识别,实时监测识别结果,以便进行后续的动作匹配。并对人脸检测模型进行对比,实验不同卷积网络模型的识别效果,最后选择最优的模型方法以便于搭建实时人脸监测系统。
3、基于BlazePose的关节点检测与基于数学模型的动作匹配程度计算,从视频流图片帧提取人物骨骼点,并计算骨骼点变化情况。然后设计一个基于变换角的简单运动评分系统,用于实时视频与本地标准动作的比对和评分。
4、搭建室内健身运动交互页面,提供多模态的计算机视觉方法,用于运动检测、人机交互、匹配算法等。通过视频流的比对得到运动准确性分析,实现低成本,高可用性且泛化性好的室内运动系统。
### 整体框架图
![image](https://github.com/Zhong-Ze-Wei/AI_Mirror/assets/79208991/75d9550a-8a0f-4406-aeb0-2ed540f85d82)
## 项目为毕业设计,欢迎各位fork or star。
### 项目所需环境请看requirement.txt,所需数据内容请自行添加修改,原文中的data文件都是自己拍摄的视频,不予以分享。注意,数据需要通过tool进行标准化后才可以使用,如果觉得麻烦可以重构这部分代码。原data目录结构如下:
![image](https://github.com/Zhong-Ze-Wei/AI_Mirror/assets/79208991/bc0359b5-2695-4aaf-917e-ea6794d9bd10)
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
实现功能: 1、基于BlazePalm的手势检测与操控系统设计,通过视频流的图像检测得到手关节的坐标点,通过坐标点建立数学模型,构建一个基于手势动作的操控系统,优化模型以便得到较好的控制效果。 2、基于BlazeFace的人脸检验和基于卷积神经网络的人脸识别监测,提取人脸信息稳定帧,对采集到的视频帧进行人脸检测和识别,实时监测识别结果,以便进行后续的动作匹配。并对人脸检测模型进行对比,实验不同卷积网络模型的识别效果,最后选择最优的模型方法以便于搭建实时人脸监测系统。 3、基于BlazePose的关节点检测与基于数学模型的动作匹配程度计算,从视频流图片帧提取人物骨骼点,并计算骨骼点变化情况。然后设计一个基于变换角的简单运动评分系统,用于实时视频与本地标准动作的比对和评分。 4、搭建室内健身运动交互页面,提供多模态的计算机视觉方法,用于运动检测、人机交互、匹配算法等。通过视频流的比对得到运动准确性分析,实现低成本,高可用性且泛化性好的室内运动系统。 其他详细说明见README。
资源推荐
资源详情
资源评论
收起资源包目录
AI_Mirror-master.zip (29个子文件)
AI_Mirror-master
tools
get_face.py 2KB
videos_change.py 1KB
show_hand_img.py 1011B
show_hand_img2.py 2KB
show_face_img.py 783B
save_face.py 2KB
show_hand_img3.py 808B
face_module.py 5KB
keep_sport.py 10KB
.idea
vcs.xml 180B
misc.xml 397B
inspectionProfiles
profiles_settings.xml 174B
modules.xml 268B
.gitignore 182B
AIMirror.iml 444B
model
checkpoint 99B
MobileFaceNet_TF.ckpt.index 11KB
MobileFaceNet_TF.ckpt.meta 7.72MB
inference_model_0.993.h5 4.38MB
model_with_mask_clf.h5 4.8MB
try.py 622B
facenet_mobilenet.h5 13.02MB
MobileFaceNet_TF.ckpt.data-00000-of-00001 67.85MB
requirements.txt 3KB
ai_mirror.py 6KB
videos_choose.py 9KB
README.md 2KB
hand_module.py 8KB
db
face_db.py 942B
共 29 条
- 1
资源评论
- YellowJH2024-03-07感谢资源主的分享,很值得参考学习,资源价值较高,支持!
- 2301_771407632024-05-12这个资源值得下载,资源内容详细全面,与描述一致,受益匪浅。
十小大
- 粉丝: 1w+
- 资源: 2555
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功