[发明专利]一种视频交互式行为识别方法及装置

权利要求书

1.一种视频交互式行为识别方法，其特征在于，所述方法包括：

步骤S201：在交互行为骨架序列数据集中标注主动参与者及被动参与者，对每个参与者P_i定义运动距离MD来衡量其在一个交互式行为中的运动量：

其中L代表运动序列的帧数，j代表第j个关节点，d(P_i^j,t,P_i^j,t+1)代表参与者P_i的关节点j在t帧和t+1帧之间的欧氏距离；将运动距离MD较大的参与者标注为主动参与者P_a，将另一参与者标注为被动参与者P_p；

步骤S202：对交互行为骨架序列，提取15个骨架关键关节点数据，计算相对距离特征向量；并对所述相对距离特征向量进行编码，得到表征所述交互式行为的骨架序列的彩色空间RGB图片；

步骤S203：对所述彩色空间RGB图片进行视觉增强处理，优化特征表示；

步骤S204：对所述彩色空间RGB图片利用3-stream神经网络识别所述交互式行为；

所述步骤S202：对交互行为骨架序列，提取15个骨架关键关节点数据，计算相对距离特征向量；并对所述相对距离特征向量进行编码，得到表征所述交互式行为的骨架序列的彩色空间RGB图片，包括：

定义表示参与者x在时刻t的关节i的三维坐标；所述参与者x包括主动参与者P_a及被动参与者P_p；

特征F^d(t)为所述主动参与者及被动参与者在关节点的帧内距离，其特征向量按公式(2)计算：

其中，i,j是两个参与者的任何关节，

特征F^m(t)为主动参与者和被动参与者的关节点的跨帧运动信息，其在时刻t到时刻t+T的关节移动距离特征向量按公式(3)计算：

其中，T是跨帧的间隔，

特征F^g(t)为主动参与者和被动参与者的关节点的相对于第一帧的全局信息，其在时刻t的关节全局距离特征向量按公式(4)计算：

将由公式(2)-(4)得到的特征F^d(t)、F^m(t)、F^g(t)，对交互行为骨架序列的各个帧，将上述特征在每个帧内进行顺序连接，再将帧与帧之间逐帧进行连接，得到彩色空间RGB的数据值，再将所述彩色空间RGB的数据值归一化到[0,1]。

2.如权利要求1所述的视频交互式行为识别方法，其特征在于，所述15个骨架关键关节点包括：

头、颈、左肩、右肩、左肘、右肘、左手腕、右手腕、腰、左臀、右臀、左膝、右膝、左脚踝、右脚踝。

3.如权利要求1所述的视频交互式行为识别方法，其特征在于，所述步骤S203：对所述彩色空间RGB图片进行视觉增强处理，优化特征表示，包括：

基于数学形态学，使用形状探针探测所述彩色空间RGB图片，所述形状探针被称为结构化元素，所述结构化元素是一个二进制图像；

腐蚀操作符Θ定义为：

其中I是二值图像，E是结构化元素；对所述RGB图片应用腐蚀算子，采用公式(6)分别对RGB三通道进行腐蚀，得到视觉增强后的图像

其中I_R、I_G、I_B代表腐蚀前所述RGB图片的三通道数据。