[发明专利]一种视频人体交互行为识别方法及系统

说明书

本发明公开了一种视频人体交互行为识别方法及系统，主要包括人体分割、个体特征提取、交互特征提取、特征融合、动作分类等步骤。人体分割通过行人检测算法来检测和追踪交互行为个体的边界框，并依照得到的边界框来实现单个个体的分割；个体特征提取基于预训练的3D‑Inception V3网络提取视频对象的个体动作姿态特征；交互特征提取基于改进的ICAN网络提取交互行人的肢体动作、相对位置等细节互动特征；特征融合将前面模块提取的2种个体特征和1种交互特征级联成统一的特征向量；动作分类采用Softmax分类器将融合后的特征向量转化为每类动作的概率。本发明有效结合了3D‑Inception V3速度快和改进的ICAN精度高的特点，因而兼具效率和精度优势，在社会安全领域具有实际应用价值。

技术领域

本发明属于计算机视觉技术领域，涉及一种人体动作识别方法及系统，具体涉及一种视频人体交互行为识别方法及系统。

技术背景

行为识别与理解一直是计算机视觉领域研究的焦点问题之一，在安全防范、人机交互、视频检索等诸多领域都有广泛的应用前景。虽然近年行为识别的研究取得了较大进展，但以往研究大多围绕单人动作行为识别，而对于现实场景下更为普遍的双人乃至多人群体的交互行为仅有少量涉及，这是由于交互识别比一般的动作识别任务更为复杂，主要表现如下：

(1)复杂的背景。在真实场景下，发生交互行为时所处的背景会不断变化甚至是与之前出现过的背景完全不同。背景环境的变化不仅造成分割交互人物与背景时存在困难，而且会影响到发生交互行为的两人间的特征识别精度。

(2)交互细节信息提取不足。交互行为识别需要对发生交互行为的双方间的相对位置及发生交互行为的细节进行更多考虑。故而，交互行为识别较单人行为识别更为复杂。

双人交互行为识别的研究目前主要分为两个方面。一是通过人工提取交互特征来构建交互行为的特征映射，但这种方法通常识别精度较低，且效率低下；二是采用通用深度学习框架来构建交互特征表达，但这种方式容易忽略交互个体间更为重要的语义信息，且由于深度网络的参数量较大，无法保证算法识别速度。

发明内容

为了解决上述技术问题，本发明提供了一种较为鲁棒的视频人体交互行为识别方法及系统，能有效降低网络参数，提高识别效率。

本发明的方法所采用的技术方案是：一种视频人体交互行为识别方法，其特征在于，包括以下步骤：

步骤1：针对输入视频，对视频中的人体图像进行分割；

步骤2：针对分割后的各个人体图像，进行个体特征提取；

步骤3：针对输入视频，对视频中的人体图像进行交互特征提取；

步骤4：将步骤2中提取的个体特征和步骤3中提取的交互特征进行特征融合，级联成一个特征向量；

步骤5：将融合后的特征向量转化为每类动作的概率。

作为优选，步骤1中，通过行人检测算法来检测和追踪交互行为个体的边界框，并依照得到的边界框来实现单个个体的分割。

作为优选，采用抽帧取样的处理方式，每隔5帧采样一次，将采用视频传入YOLOv3模型中进行行人检测；同时，使用卡尔曼滤波的方法对检测到的行人进行跟踪。

作为优选，步骤2中，采用基于3D-Inception V3进行个体特征提取，通过三维卷积核在整个视频数据上进行时空滑动，生成与输入视频数据对应的3D特征图FM；

其中，V表示输入视频，Kernel表示卷积核；i、j表示图像块的空间位置，k表示视频帧的时域序号；H、W、L分别表示视频帧的高度、宽度和同时处理的帧数。