P29_language_signes_alphabet
奥德(Aude),罗南(Ronan)
该项目
这里的挑战是在视频中实时识别法语手语的字母。 面对相机,右手用不同的字母签名。
为了满足不同的亮度,与相机的距离,背景(衣服的颜色,衣服上是否有毛刺等)的限制,我们选择分两个阶段进行:
首先,检测并提取视频中的手的图像,
然后,对提取的图像进行分类以识别做出的标记。
方法
关于分类,我们已经使用多层感知器类型的线性分类器(MLP分类器)训练了图像识别模型。 该模型在我们的测试数据库上给出了出色的结果。
为了检测图像中的手,我们使用Tensorflow Detection API和在Coco数据集上预先训练的EfficientDet-d0模型进行了首次测试。 这种学习转移的结果令人非常失望,我们决定使用Google开发的库中现有的手部检测模块。 该模块经过训练,可以从图像中推断出