[发明专利]一种多模态人体行为识别方法及相关设备

说明书

本申请提出了一种多模态人体行为识别方法及相关设备，为了避免通过图像泄露待处理对象的隐私，以及RGB图像展示的待处理对象特征受外界环境干扰，如待处理对象被遮挡，导致被遮挡区域特征无法获取等，本申请在采集到的视频数据后，将从中获取待处理对象的骨架序列信息和光流图像，之后，对骨架序列信息进行静态特征和动态特征提取，得到表征待处理对象的不同骨骼与不同关节之间的依赖关系，且提取光流图像中的光流模态特征，基于耦合机制融合得到多模态融合特征向量后，据此进行行为识别，可以得到高准确率和可靠性的行为识别结果。

技术领域

本申请主要涉及图像处理技术领域，更具体地说是涉及一种多模态人体行为识别方法及相关设备。

背景技术

随着人工智能(Artificial Intelligence，AI)的应用发展，人体行为识别成为视频分析的主要研究方向，被广泛应用在智慧安防、智慧医疗、智慧交通、视频游戏、机器人等领域，基于AI包含的如计算机视觉、深度学习等算法进行人体行为识别，从而触发计算机设备执行相应操作，满足应用需求。

其中，在基于深度学习模型的人体行为识别方法实现过程中，是直接对图像传感器采集到的RGB视频数据进行特征提取，依据提取到的空间特征实现人体行为识别，但这种识别方式会暴露个人隐私信息，无法满足安全性要求，且很容易受到外界环境因素干扰，降低识别精准度。

发明内容

有鉴于此，本申请提出了一种多模态行为识别方法，所述方法包括：

获取视频数据中待处理对象的骨架序列信息和光流图像；

对所述骨架序列信息进行静态特征和动态特征提取，得到骨架模态特征；所述骨架模态特征能够表征所述待处理对象的不同骨骼与不同关节之间的依赖关系；

对所述光流图像进行特征提取，得到光流模态特征；所述光流模态特征能够表征所述待处理对象在相邻视频帧之间的动态信息；

基于耦合机制，对所述骨架模态特征和所述光流模态特征进行编码融合处理，得到多模态融合特征向量；

依据所述多模态融合特征向量，获得所述视频数据中所述待处理对象的行为识别结果。

可选的，所述对所述骨架序列信息进行静态特征和动态特征提取，得到骨架模态特征，包括：

将所述骨架序列信息输入骨架模态特征提取模型，输出骨架模态特征；

其中，所述骨架模态特征提取模型基于多视角多流图卷积神经网络训练得到，以学习样本对象的不同骨骼与不同关节之间的依赖关系；所述多视角包括骨骼视角和关节视角；所述多流包括不同视角下的静态信息和动态信息。

可选的，所述多视角多流图卷积神经网络包括不同视角图卷积神经网络，以及相应视角下的多流图卷积神经网络，所述将所述骨架序列信息输入骨架模态特征提取模型，输出骨架模态特征，包括：

将所述骨架序列信息输入图卷积神经网络，得到所述视频数据中不同视频帧包含的所述待处理对象的关节图信息和骨骼图信息；

获取所述关节图信息中相邻关节的关节静态位置信息，以及所述骨骼图像信息中相邻骨骼的骨骼静态位置信息；

利用所述关节静态位置信息，获得所述相邻关节各自的关节速度和关节加速度；

利用所述骨骼静态位置信息，获得所述相邻骨骼各自的骨骼速度和骨骼加速度；

对同一视频帧包含的所述关节静态位置信息、所述关节速度、所述关节加速度、所述骨骼静态位置信息、所述骨骼速度以及所述骨骼加速度进行融合处理，得到所述待处理对象的骨架模态特征。

可选的，所述对所述光流图像进行特征提取，得到光流模态特征，包括：

将所述光流图像输入光流模态特征提取模型，输出光流模态特征；