[发明专利]基于时空序列图的手势检测方法及系统

说明书

本发明提供一种基于时空序列图的手势检测方法，属于计算机视觉技术领域，包括：构建手部关节点的时空序列图，提取每个关节点和与其相邻关节点之间的特征关系；对特征关系进行位置编码操作，得到位置编码向量；结合位置编码向量和特征关系，编码得到动作向量；对动作向量进行时序编码，获得关节点与其他关节点的时空关系向量；将动作向量和时空关系向量进行聚类分析，实现手势的分类识别。本发明针对视点，照明等不必要的参数，从输入视频帧中提取手部关键点，有效的检测出手势动作中的异常行为；使用半监督的方式对模型进行训练，利用聚类的方式去对行为进行聚类和判定，得到了较好的聚类效果，实现了对不同环境下的手势动作的识别和异常检测。

技术领域

本发明涉及计算机视觉识别技术领域，具体涉及一种基于时空序列图的手势检测方法及系统。

背景技术

自然的交互技术成为当下人机交互领域研究的热点，而手势是一种自然且直观的人机交互方式，因此，基于视觉跟踪的手势交互技术得到了众多研究者的关注。但由于手掌形状不一、手势运动复杂多变且容易受外界环境干扰等问题，使得有效的异常手势检测仍然存在较大挑战。

基于视频的异常行为检测方法可分为无监督、半监督、有监督三类。无监督方法不需要标签信息，假设异常行为是罕见且无规律的。有监督方法，用正例样本和负例样本同时进行训练，提取正异常之间更具区分性的特征。但有监督方法数据集需要的负例样本数量较大，而某些异常行为是极少发生的，样本获取困难。半监督方法只提供正例样本进行训练，基于“非正即异”思想，将那些不符合正常特征分布的样本检测为异常。在异常行为较少发生或难以标注的情况下有很好的鲁棒性。

在检测过程中的特征提取环节也存在大量的特征提取方法。基于手部关键点信息的特征提取方法由于其具有较好的鲁棒性和适应性，且能够去除背景信息所带来的误差，目前得到了广泛的使用。相比于图像特征，关键点特征更加紧凑，对手势描述也更加的具体，且不易受光照和背景变化的影响。目前有关异常手势检测模型较少，且现有模型进行异常手势检测的效果比较差，忽略了两只手之间的联系，一定程度上影响了最终检测识别效果。

发明内容

本发明的目的在于提供一种考虑到提取手部关键点信息可以减少视点、背景等不必要的因素带来的影响，最终使网络得到好的聚类效果，能利用手部关节点的时空关系，有效的检测出手势动作中的异常行为的基于时空序列图的手势检测方法及系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

第一方面，本发明提供一种基于时空序列图的手势检测方法，包括：

构建手部关节点的时空序列图，提取每个关节点和与其相邻关节点之间的特征关系；对特征关系进行位置编码操作，得到位置编码向量；

结合位置编码向量和特征关系，编码得到动作向量；对动作向量进行时序编码，获得关节点与其他关节点的时空关系向量；

将动作向量和时空关系向量进行聚类分析，实现手势的分类识别。

优选的，构建手部关节点的时空序列图包括：对视频进行手部关节点提取，手部的自然骨架连接和两只手对应关节点的连接来构造空间图，连续帧之间相同的关节点连接构建得到所述时空序列图。

优选的，将构建好的时空序列图输入图卷积神经网络GCN模块，提取每个关节点和与其相邻关节点之间的特征关系，输出特征向量。

优选的，将特征向量作为空间编码器C-Encoder部分的embedding输入，进行位置编码Positional Encode操作，得到位置编码向量。

优选的，将得到的位置编码向量与GCN输出的特征向量对位相加，输入到C-Encoder模块中，经过编码得到动作向量。

优选的，将得到的动作向量作为时序编码器T-Encoder的输入，进行编码，最后得到关节点与其他关节点的时空关系向量。