基于KNN-HMM的智能手语翻译系统.pdf

"基于KNN-HMM的智能手语翻译系统" 本文介绍了基于KNN-HMM的智能手语翻译系统，该系统采用数据手套和手机App的方案，通过数据手套上的弯曲度传感器和惯性测量传感器采集手部动作数据，然后经STM32处理器归一化和数据融合后，采用KNN算法进行初步分类，将初步分类结果通过蓝牙传输到手机，手机App利用HMM模型结合上下文获知手语含义，进而翻译成普通人能够理解的文本和语音。 该系统主要解决了手语识别的三种技术路径，即基于视觉的手语识别、基于 SEMG 表面肌电传感器和惯性测量传感器的手语识别、基于数据手套的手语识别。其中，基于数据手套的手语识别方案具有成本低、操作便捷等特点，非常适合听障人群的需求。 系统的总体框架由数据手套和手机App部分组成。数据手套分为左手和右手，右手为主端，左手为从端。从端将采集到的左手手部动作数据通过蓝牙发送给主端，主端将双手的动作数据融合后对手型进行初步判断分类再通过蓝牙发送到手机端，手机端App利用HMM模型中的Viterbi算法对接收到的数据进行二次分类最终确定手语类型，并显示文本、播放语音。 在系统设计中，硬件设计采用了STM32l4R5处理器，该处理器基于标准的ARM架构，采用了为高性能、低成本、低功耗的嵌入式应用专门设计的Cortex-M内核，主频120 MHz，运算性能150 MIPS，功耗43mA/MHz，配置了高达640KB的RAM和2048KB的FLASH，集成了12位的ADC、SPI等众多外设，此外还带有FPU单元和DSP指令集，足以满足手型分类相关算法对运算速度的要求。 在手部动作采集模块中，弯曲度传感器固定在数据手套的5个手指位置，利用其在弯曲过程中的阻值变化反映弯曲程度。惯性测量传感器采用MPU9250，与另一款常用的惯性传感器MPU6050相比，前者在高precision和低功耗方面具有明显优势。 该基于KNN-HMM的智能手语翻译系统具有高准确率、成本低、操作便捷等特点，对听障人群的交流和融入社会具有重要意义。