[发明专利]一种基于语义和交互特征的双人行为识别方法

说明书

本发明提出了一种基于语义和交互特征的双人行为识别方法，其实现步骤为：通过OpenPose算法从视频中获取人体骨骼关节点的三维坐标信息。通过骨骼关节点信息判断是否为双人行为。将两个人的骨架信息分别用和来表示，并且通过高维编码嵌入高维。定义关节类型的语义spa并且通过高维编码嵌入高维，与骨架信息融合。通过双人的骨架信息提取其双人交互信息g_ram。构建关节级图卷积模块，并将融合了关节类型的骨骼信息与双人交互信息输入进行特征融合。定义时间帧类型语义与经过关节级图卷积后得到的特征进行融合。通过构建的帧级卷积模块实现行为识别分类。本发明是一种基于语义和交互特征的双人行为识别方法，能够很好的表达交互特征并且识别双人行为。

技术领域

本发明属于人体行为特征分类技术领域，尤其涉及一种基于语义和交互特征的双人行为识别方法。

背景技术

人体行为识别是指从未知的视频或图像序列中，自动化分析其中人体正在进行的行为。根据目前国内外已有的研究工作，交互行为识别总体可分为基于模板匹配的方法以及基于深度学习的方法；基于模板匹配的方法代表工作如Van Gemeren等结合HOG/HOF描述符对人体之间的交互作用的特征帧进行编码；又如Ji等使用HMM建模HOG描述符随时间的变化并且区分交互行为的开始、中间和结束阶段。基于深度学习的交互行为识别又可以主要分为基于CNN(卷积神经网络)、基于RNN(循环神经网络)、基于GCN(图卷积网络)的方法；其中代表性的CNN方法如Tang等提出的AlphaAction网络，其使用交互聚合结构对RGB视频中的交互动作进行统一建模；代表性的RNN方法如Wang等利用LSTM统一了视频中单人动作和交互动作特征建模过程。而基于GCN的方法为近年来发展最为火热的行为识别方向，最早由Yan等将ST GCN引入人体行为识别领域，对从视频中提取出来的人体骨骼关键点构造而成的图拓扑结构数据，依次进行时空图卷积操作完成识别，超越了以往直接基于RGB图像分析的网络表现。

近年来，随着高精度深度摄像机、可穿戴式动作捕抓系统和人体姿态估计算法的发展，我们可以很容易获取人体的关节点三维坐标信息，人体行为识别也得到高速发展，取得了诸多成果，但现在的识别准确率还是不够高。主要存在以下的问题：首先是视频中包含许多影响动作识别的冗余信息，如背景噪声，光照条件容易对动作识别造成一定的干扰；其次对于交互行为如今还不能够很好的表达出交互特征，所以如何获取交互行为中的交互特征并且将两个人的骨架信息很好的融合在一起也是研究重点；最后，现有的模型都简单的考虑人体骨架关键点的三维坐标，并且不能很好地表达出交互特征。

发明内容

本发明的目的在于提供一种基于语义和交互特征的双人行为识别方法，能够很好的表达交互特征，并且将两个人的骨架信息很好的融合在一起，提高行为识别的精度。为了达到上述目的，在本发明提供了一种基于语义和交互特征的双人行为识别方法，所述方法包括：

S1、通过OpenPose算法从视频中获取人体骨骼关节点的三维坐标信息；

S2、通过骨骼关节点信息判断是否为双人行为；

S3、将第一个人的骨架信息用第二人的骨架信息用来表示，并且通过高维编码嵌入高维，定义关节类型的语义spa，通过高维编码嵌入高维，与骨架信息融合；

S4、通过双人的骨架信息提取其双人交互信息g_ram；

S5、构建关节级图卷积模块，并将融合了关节类型的骨骼信息与双人交互信息输入进行特征融合；

S6、定义帧索引语义，与经过关节级图卷积后得到的特征进行融合；

S7、通过构建的帧级卷积模块，用于实现行为识别分类。

进一步地，所述步骤S1包括：使用OpenPose算法提取视频中的人体骨骼关节点的三维坐标信息得到大小为(Bs，3，N，T)的张量，其中Bs为批大小，N为关节点数量，每个关节点包括3维坐标信息，T为时间帧。