[发明专利]一种基于双路3DCNN模型的哑语动作识别方法

说明书

本发明提供一种基于双路3DCNN模型的哑语动作识别方法，涉及计算机视觉技术领域。本发明步骤如下：步骤1：采集视频数据集；步骤2：对视频数据集进行预处理；步骤3：建立提取手势局部信息的3D卷积神经网络模型，输出手部的特征向量的集合；步骤4：建立提取整体全局信息的3D卷积神经网络模型，提取整体全局特征向量的集合；步骤5：建立双路的3D卷积神经网络模型，得出具有局部手势信息和全局整体信息的特征图谱；步骤6：得到词嵌入特征向量，将特征图谱和特征向量输入生成哑语句子的长短期记忆网络，经过迭代训练得到与哑语动作相对应的连贯句子。本方法能正确捕捉到人体的手势和肢体信息得到连贯的句子，客服了只能识别单一词汇的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于双路3DCNN模型的哑语动作识别方法。

背景技术

哑语是聋哑人进行信息交流和交际的最自然的方法，也是聋哑学校进行教学和传递思想的重要途径。目前在中国的哑语教科书中包括大约5500个常规手势，每个手势对应一个汉语词。哑语识别的目的是通过计算机提供一种有效且准确的机制，将哑语翻译成文本或者语音使得聋哑人和听力正常的人之间的交流变得更加方便，快捷。在聋哑人与外界沟通时，如果对方不懂哑语，则会产生很多困扰，因此，许多的专家和学者都对哑语的机器识别展开了一系列研究，在欧美等许多发达国家中，对于该领域的研究都有专项的研究基金投入。目前，在我国约有2000万聋哑人，因此，如果能够成功研发出哑语的自动识别系统，那么无疑将直接造福于这个群体，为其提供一种更加自然，更加方便快捷地与健听人交流的途径，以便聋哑人更好地融入社会。在进行哑语识别时，不仅需要正确的捕捉手势动作，还要正确的对手势动作进行提取、分割、合成。而现今打大多数方法都是基于特征分类的方法对手势动作进行区分，这种方法的一个主要缺点是没有时间维度信息，因此只适用于对单个单词的识别，在进行长句子的连续识别时，效果较差。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于双路3DCNN模型的哑语动作识别方法，本方法可以正确捕捉到人体的手势和肢体信息，还加入了时间维度信息，可以得到连贯的句子，客服了只能识别单一词汇的问题。

为解决上述技术问题，本发明所采取的技术方案是：

本发明提供一种基于双路3DCNN模型的哑语动作识别方法，包括如下步骤：

步骤1：采集视频数据集，视频数据集包括训练集和测试集，所述训练集中的视频数据是人为标定了手部边框坐标信息的视频数据；

利用深度摄像头对视频数据进行采集，采集的数据要求能够清晰的显示出手的手掌和手腕关节点的坐标信息，同时还要对肢体及面部表情进行关键点的标定工作。每只手都需要采集5×4个关节以及手心共计21组数据，肢体动作需要采集14个关键点，总共标定56个关键点信息；

步骤2：对视频数据集进行预处理，包括对视频数据的填充、剪裁、缩放、数据集的增广操作；

步骤3：根据训练集中的视频数据建立提取手势局部信息的3D卷积神经网络模型，将测试集中的待识别视频数据F输入到提取手势局部信息的3D卷积神经网络模型中，输出手部的特征向量的集合U；所述3D为在二维图像上引入时间维度后组成的3D数据；具体步骤如下：

步骤3.1：建立初始SSD目标检测模型和分类网络模型，对SSD目标检测模型中的所有参数采用穷举和遍历的方式来确定合理的参数值范围；根据训练集中预先标定了手部边框标签信息的视频数据对初始SSD目标检测模型进行预训练，得到SSD目标检测模型；

步骤3.2：利用SSD目标检测模型对待识别视频数据F中的手部信息进行跟踪检测，得到手部信息的局部边框坐标的集合H＝{h₁,h₂,…,h_p,…,h_P}，其中h_p代表第p个手部信息的局部边框坐标，1≤p≤P；