基于计算机视觉及深度学习的无人机手势控制系统1
需积分: 0 19 浏览量
2022-08-03
20:00:25
上传
评论
收藏 856KB PDF 举报
书书书
基于计算机视觉及深度学习的无人机手势控制系统
!
马乐乐!李照洋!董嘉蓉!侯永宏
!天津大学电子信息工程学院"天津
!"""#$
#
摘
"
要!传统的无人机人机交互需 要专 门 的设 备 和专 业 的训 练!便捷新 颖 的交 互 方式 往 往更 令 人青
睐" 利用普通相机!对基于计算机视觉以及深度学习的无人机手势控制系统进行了研究" 该系统首先利
用快速跟踪算法在视频序列中提取出操作者所在区域!大大减少后续视频处理压力的同时去除了复杂背
景以及相机漂移的影响
" 其次!根据动作的时间信息!用不同颜色编码光流特征!叠加在一张图片上!将视
频转换为同时包含时间特征以及空间特征的彩色纹理图" 最后!利用卷积神经网络对彩色纹理图进行学
习及分类!根据分类结果生成控制无人机的指令" 该系统每
"%&'
对
(%)'
内的动作进行一次判定!利 用
卷积神经网络对图片的分类实现实时性的人机交互!系统在
)"*
范围内的识别准确率在
+!,
以上!在室
内和室外环境下!操作者可以通过模仿指令动作方便地控制无人机"
关键词!人机交互#深度学习#卷积神经网络#无人机#手势控制
中图分类号!
-.!+(%&
文献标志码!
/
!"#
$
("%!+)+
%
0
%1''2%(""#3(!"4%$"(5%"6%"()
$%&
'
()*+,(-".*,"/)
0
)*(123)(!".
-"1
4
+*(,5#)#".3.!!((
4
/(3,.#.
'
7/ 893:9
"
8;<=>?3
@
>2
A
"
BCDEF1>3G?2
A
"
HCI J?2
A
3=?2
A
!
KL=??:?MN:9LOG1L;2M?G*>O1?2N2
A
1299G12
A
"
-1>2
0
12I21P9G'1O
@
"
-1>2
0
12!"""#$
"
Q=12>
#
%2)*,3-*
$
-=9OG>R1O1?2>:I2*>229R/9G1>:S9=1L:9
!
I/S
#
=T*>23*>L=12912O9G>LO1?2G9
U
T1G9''
V
93
L1>:1W9R9
U
T1
V
*92O>2R
V
G?M9''1?2>:OG>1212
A
"
>2RL?2P92192O>2R122?P>O1P9X>
@
'?M12O9G>LO1?2>G9?MO92
*?G9
V
?
V
T:>G%;2O=1'
V
>
V
9G
"
X1O=?GR12>G
@
L>*9G>'
"
X9'OTR
@
O=9I/S
A
9'OTG9L?2OG?:'
@
'O9*Y>'9R?2
L?*
V
TO9GP1'1?2>2RR99
V
:9>G212
A
%-=9'
@
'O9*M1G'OT'9'O=9M>'OOG>LZ12
A
>:
A
?G1O=*O?9[OG>LOO=9?
V
9G3
>O?G
&
'G9
A
1?212O=9P1R9?'9
U
T92L9
"
A
G9>O:
@
G9RTL12
A
O=9
V
G9''TG9?M'TY'9
U
T92OP1R9?
V
G?L9''12
A
X=1:9
G9*?P12
A
O=912M:T92L9?ML?*
V
:9[Y>LZ
A
G?T2R>2RL>*9G>RG1MO%K9L?2R:
@
"
>LL?GR12
A
O?O=9O1*912M?G3
*>O1?2?MO=9>LO1?2'
"
O=9?
V
O1L>:M:?XM9>OTG9'>G992L?R9R12R1MM9G92OL?:?G'>2R'T
V
9G1*
V
?'9R?2>
V
1L3
OTG9
"
>2RO=9P1R9?1'L?2P9GO9R12O?>L?:?GO9[OTG9*>
V
O=>OL?2O>12'Y?O=O9*
V
?G>:M9>OTG9'>2R'
V
>O1>:
M9>OTG9'%\12>::
@
"
L?:?G9RO9[OTG91*>
A
9'>G9X9:::9>G29R>2RL:>''1M19RY
@
>R99
V
Q?2P?:TO1?2>:D9TG>:
D9OX?GZ
!
QDD
#
>2RI/S L?2OG?::12
A
L?**>2R'>G9
A
929G>O9R>LL?GR12
A
O?O=9L:>''1M19RG9'T:O'%-=9
V
G?
V
?'9R'
@
'O9*9'O1*>O9'>LO1?2'X1O=12(%)'9P9G
@
"%&'>2RT'9'QDD O?L:>''1M
@V
1LOTG9''?>'O?>3
L=19P9G9>:3O1*9=T*>23L?*
V
TO9G12O9G>LO1?2%-=9'
@
'O9*=>'>G9L?
A
21O1?2>LLTG>L
@
?M?P9G+!, X1O=12
)"*9O9G'%;212R??G>2R?TOR??G92P1G?2*92O'
"
O=9?
V
9G>O?GL>2L?2P92192O:
@
L?2OG?:O=9I/SY
@
1*13
O>O12
A
L?**>2R>LO1?2'%
6(
0
7",!)
$
=T*>2*>L=12912O9GM>L9
'
R99
V
:9>G212
A
'
QDD
'
I/S
'
A
9'OTG9L?2OG?:
!
收稿日期!
$"()3"53()
'修回日期!
$"()3($3"#
通信地址!
!"""#$
天津市卫津路
+$
号天津大学电子信息工程学院
%!!,())
$
KL=??:?MN:9LOG1L;2M?G*>O1?2N2
A
1299G12
A
"
-1>2
0
12I21P9G'1O
@
"
+$ ]91
0
12^R
"
-1>2
0
12!"""#$
"
.%^%Q=12>
"
QD&!3($65
%
-.
;KKD(""#3(!"4
""""
计算机工程与科学
Q?*
V
TO9GN2
A
1299G12
A
_ KL192L9
第
&"
卷第
6
期
$"(5
年
6
月
"
S?:`&"
"
D?`6
"
7>
@
`$"(5
"
文章编号!
(""#3(!"4
!
$"(5
#
"63"5#$3"5
评论0