[发明专利]一种多模态人体行为识别方法及相关设备

权利要求书

1.一种多模态行为识别方法，其特征在于，所述方法包括：

获取视频数据中待处理对象的骨架序列信息和光流图像；

对所述骨架序列信息进行静态特征和动态特征提取，得到骨架模态特征；所述骨架模态特征能够表征所述待处理对象的不同骨骼与不同关节之间的依赖关系；

对所述光流图像进行特征提取，得到光流模态特征；所述光流模态特征能够表征所述待处理对象在相邻视频帧之间的动态信息；

基于耦合机制，对所述骨架模态特征和所述光流模态特征进行编码融合处理，得到多模态融合特征向量；

依据所述多模态融合特征向量，获得所述视频数据中所述待处理对象的行为识别结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述骨架序列信息进行静态特征和动态特征提取，得到骨架模态特征，包括：

将所述骨架序列信息输入骨架模态特征提取模型，输出骨架模态特征；

其中，所述骨架模态特征提取模型基于多视角多流图卷积神经网络训练得到，以学习样本对象的不同骨骼与不同关节之间的依赖关系；所述多视角包括骨骼视角和关节视角；所述多流包括不同视角下的静态信息和动态信息。

3.根据权利要求2所述的方法，其特征在于，所述多视角多流图卷积神经网络包括不同视角图卷积神经网络，以及相应视角下的多流图卷积神经网络，所述将所述骨架序列信息输入骨架模态特征提取模型，输出骨架模态特征，包括：

将所述骨架序列信息输入图卷积神经网络，得到所述视频数据中不同视频帧包含的所述待处理对象的关节图信息和骨骼图信息；

获取所述关节图信息中相邻关节的关节静态位置信息，以及所述骨骼图像信息中相邻骨骼的骨骼静态位置信息；

利用所述关节静态位置信息，获得所述相邻关节各自的关节速度和关节加速度；

利用所述骨骼静态位置信息，获得所述相邻骨骼各自的骨骼速度和骨骼加速度；

对同一视频帧包含的所述关节静态位置信息、所述关节速度、所述关节加速度、所述骨骼静态位置信息、所述骨骼速度以及所述骨骼加速度进行融合处理，得到所述待处理对象的骨架模态特征。

4.根据权利要求1所述的方法，其特征在于，所述对所述光流图像进行特征提取，得到光流模态特征，包括：

将所述光流图像输入光流模态特征提取模型，输出光流模态特征；

其中，所述光流模态特征提取模型基于二维残差卷积神经网络训练得到。

5.根据权利要求1所述的方法，其特征在于，所述基于耦合机制，对所述骨架模态特征和所述光流模态特征进行编码融合处理，得到多模态融合特征向量，包括：

将所述骨架模态特征和所述光流模态特征输入深度耦合自动编码器模型进行多模态融合处理，输出多模态融合特征向量；

其中，在所述深度耦合自动编码器模型的训练过程中，基于骨架模态损失、光流模态损失以及平方差损失的总损失，实现网络参数调整；所述平方差损失是指基于耦合机制得到的骨架模态编码向量与光流模态编码向量之间的差异损失。

6.根据权利要求1所述的方法，其特征在于，所述依据所述多模态融合特征向量，获得所述视频数据中所述待处理对象的行为识别结果，包括：

利用极限学习机对所述多模态融合特征向量进行分类识别，得到所述视频数据中所述待处理对象的行为识别结果。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取视频数据中待处理对象的骨架序列信息和光流图像，包括：

获取第一多模态传感器采集的各视频帧中待处理对象的不同关节的三维坐标数据；

由所述各视频帧中不同关节的所述三维坐标数据，构建所述待处理对象的骨架序列信息；

对相邻视频帧进行光流运算，得到所述待处理对象的光流图像。