[发明专利]一种视频交互式行为识别方法及装置

说明书

本发明提供一种视频交互式行为识别方法及装置，所述方法包括：根据运动距离标注主动参与者及被动参与者；利用有效的15个骨架关键关节点数据，计算相对距离特征向量；并对所述相对距离特征向量进行编码，得到表征所述交互式行为的骨架序列的彩色空间RGB图片；对所述彩色空间RGB图片进行视觉增强处理，输入到3‑stream神经网络识别所述交互式行为。根据本发明的方案，能够对交互式行为进行有效识别且交互式行为识别准确率高、效率高。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种视频交互式行为识别方法及装置。

背景技术

目前，行为识别在智能监控、人机交互、视频内容分析等领域有着广泛的应用前景，受到了越来越多的关注。目前的行为识别大多是基于单人的行为识别。然而，现实世界中，动作往往是由多个人执行的，交互式行为识别在智能监控、安全管制、健康管理等方面都是至关重要的。交互式行为识别由于其原始的骨架信息会随着双人位置的交换、主动被动动作的交换而带来巨大差异，另一方面，人与人之间复杂的时空结构关系加上相互遮挡和冗余姿态的存在也使得交互式行为识别具有较大难度。

对于近年来在单人骨架行为识别中显示出优势的端到端神经网络，例如卷积神经网络(CNN)和基于长时记忆的神经网络(LSTM)，由于交互式行为识别中位置、视角、动作的交换对于原始骨架数据的影响巨大，因此造成从原始的骨架关节点坐标数据出发利用端到端的神经网络进行交互式行为识别的鲁棒性较差。

对于交互式行为识别，现有技术中存在通过挖掘不同骨架序列或同一骨架序列的不同部位的相对几何关系来对相对特征关系进行表述，再将相对特征关系进行SVM或者MILBoost分类，但随着处理的数据规模日渐增大，上述处理方式在处理大数据集时的准确率和效率均不能满足需求。

发明内容

为解决上述技术问题，本发明提出了一种视频交互式行为识别方法及装置，用以解决现有技术中不能对交互式行为进行识别或交互式行为识别准确率低、效率低的技术问题。

根据本发明的第一方面，提供一种视频交互式行为识别方法，包括：

步骤S201：在交互行为骨架序列数据集中标注主动参与者及被动参与者，对每个参与者P_i定义运动距离MD(Moving distance)来衡量其在一个交互式行为中的运动量：

其中L代表运动序列的帧数，j代表第j个关节点，d(P_i^j,t,P_i^j,t+1)代表参与者P_i的关节点j在t帧和t+1帧之间的欧氏距离；将运动距离MD较大的参与者标注为主动参与者P_a，将另一参与者标注为被动参与者P_p；

步骤S202：对交互行为骨架序列，提取15个骨架关键关节点数据，计算相对距离特征向量；并对所述相对距离特征向量进行编码，得到表征所述交互式行为的骨架序列的彩色空间RGB图片；

步骤S203：对所述彩色空间RGB图片进行视觉增强处理，优化特征表示；

步骤S204：对所述彩色空间RGB图片利用3-stream神经网络识别所述交互式行为。

进一步地，所述步骤S202：对交互行为骨架序列，提取15个骨架关键关节点数据，计算相对距离特征向量；并对所述相对距离特征向量进行编码，得到表征所述交互式行为的骨架序列的彩色空间RGB图片，包括：

定义表示参与者x在时刻t的关节i的三维坐标；所述参与者x包括主动参与者P_a及被动参与者P_p；

特征F^d(t)为所述主动参与者及被动参与者在关节点的帧内距离，其特征向量按公式(2)计算：