项目名称:
基于深度学习的互动宠物机器人 开发环境:Linux+Arduino+SolidWorks
项目简介:
实现了在树莓派控制下的基于人脸识别,语音识别,手势识别的互动机器人,能够通过
语
音,手势等命令进行实时互动,并具备动作,表情互动回应。
功能实现:
整体具备三个模块的设计,最上层为数据采集系统,通过树莓派提供的摄像头进行人脸
识
别和手势姿态识别,并通过语音采集模块进行语音命令的识别。在识别到交互信息后,
将通过深度学习算法将人脸信息、手势信息、语音信息进行识别认证,并通过网络协议发送
到实时
监控的服务器中,并将数据统一放入消息队列中等待中间层的决策系统调用。
第二层为部署在树莓派上的数据收集中心和决策算法,采用多线程并行的策略将实时采
集到
的交互数据提交给决策算法。决策算法中将根据命令是否学会来调用学习程序还是执行程
序,并通过交互者的信息来执行不同程度动作表现,通过决策算法的计算,即便相同命令
下的执行动作也会因为交互者的信息以及交互程度而展现不同的执行能力。
第三层为最底层的执行端,执行端采用 ESP32 芯片进行控制,并且同时驱动 8 个 MG995
舵机实现
4 足形态的机器人,机器人能够展现并执行大约 20 种动作,并具备丰富的表情通过显示屏
幕展现。
决策层的决策结果将作用到执行端完成譬如握手、坐下、跳舞等动作的执行,在交互状态下,
为了更
好的获取交互信息,机器人能够实时跟踪人脸的移动。
项目视频介绍:
数据采集视频中,左边为服务器接收到的人脸,声音,手势信息。右边为实时监控,最下面
的 linux 显示的为人脸坐标
其余小视频为动作和表情的展示
手势数组对应:
["Unknow","Fist-
Bumps","Angry","Happy","Disagree","SitDown","Hello","Agree","Shoot","Bye","Pink
Up","Thumb Up","Fuck","OK","love","Rock'n'Roll"]
姓名数组对应: