[发明专利]任意视角动作识别方法

说明书

本发明公开了一种任意视角动作识别方法，获取基准视角动作序列和任意视角动作序列，并对每个任意视角动作序列生成对应的映射图像，构建任意视角动作识别模型，包括视角转换模块、注意力学习网络模块和分类模块，视角转换模块用于将任意视角动作序列旋转至基准视角后发送给注意力学习模块，注意力学习模块用于采用注意力机制对旋转后的动作序列进行注意力学习并进行加权操作，将得到的旋转加权后的动作序列发送给分类模块，分类模块进行特征提取并分类，对多视角动作识别模型进行训练，获取待进行动作识别人员的动作序列，输入任意视角动作识别模型得到动作识别结果。本发明可以避免视角差异带来的影响，提高动作识别准确率。

技术领域

本发明属于动作识别技术领域，更为具体地讲，涉及一种任意视角动作识别方法。

背景技术

随着深度学习的兴起，在行为识别领域，各种优秀的算法一直在出现并获得更高的动作识别准确率。但是在某些具体的应用场景下，例如地震多发区域的救灾环境比较复杂，对动作识别的准确率影响很大，如何将动作识别有效应用在具体的救灾行为识别任务并能克服视角差异所带来的影响是一个巨大的挑战。

传统的行为识别方法有利用卷积神经网络和循环神经网络分别进行动作在空间上和时间上的特征提取，或者设计图卷积神经网络来提取人体骨骼的高阶语义信息。然而当面临较大的视角变化时，同一个动作的特征会发生显著的变化，从而导致系统无法准确判断同一动作。当这个问题出现在救灾现场，那搜救设备的效率就会大大降低，从而增加搜救人员的工作量。

发明内容

本发明的目的在于克服现有技术的不足，提供一种任意视角动作识别方法，借助视角转换模块将动作数据转换到基准视角，从而避免视角差异带来的影响，提高动作识别准确率。

为了实现上述发明目的，本发明任意视角动作识别方法包括以下步骤：

S1：根据需要设置用于视角转换的基准视角，然后同时在基准视角和其他任意视角拍摄同一人员动作视频，分别对基准视角动作视频和任意视角动作视频进行骨骼序列提取并处理至预设长度，作为基准视角动作序列和任意视角动作序列；

对于所需识别的N个动作分别获取若干对基准视角动作序列和任意视角动作序列，标注每个动作序列对应的动作类别标签；

针对每个视角下的骨骼序列生成对应的映射图像，映射方法如下，将骨骼序列的帧和每一帧的关节分别对应图像的横纵轴，关节的三维坐标对应图像的RGB通道；

S2：构建任意视角动作识别模型，包括视角转换模块、注意力学习网络模块和分类模块，其中：

视角转换模块包括卷积神经网络和视角旋转模块，其中卷积神经网络的输入为任意视角动作序列对应的映射图像，处理得到旋转参数发送给视角旋转模块；视角旋转模块根据接收到的旋转参数对任意视角动作序列进行视角旋转，得到旋转后的动作序列并发送给注意力学习模块；

注意力学习模块包括注意力学习网络和加权处理模块，其中注意力学习网络对旋转后的动作序列进行学习，得到注意力矩阵，加权处理模块根据注意力矩阵对旋转后的动作序列进行加权处理，得到旋转加权后的动作序列发送给分类模块；

分类模块包括动作特征提取模块和分类器，动作特征提取模块用于对旋转加权后的动作序列进行特征提取，将提取到的动作特征发送至分类器进行动作分类，得到动作类别的预测标签；

S3：采用训练样本对视角转换模块和注意力学习模块进行联合训练，具体训练方法如下：