[发明专利]一种视频人体交互行为识别方法及系统

权利要求书

1.一种视频人体交互行为识别方法，其特征在于，包括以下步骤：

步骤1：针对输入视频，对视频中的人体图像进行分割；

步骤2：针对分割后的各个人体图像，进行个体特征提取；

步骤3：针对输入视频，对视频中的人体图像进行交互特征提取；

其中，采用基于HICAN进行交互特征提取；HICAN为改进的ICAN，HICAN在保证ICAN功能不变的前提下，将原网络中的ResNet5特征提取模块改为基于对象流的3D-Inception V3网络；同时，为了适应Inception V3的边界框大小，修改输入节点的尺寸，将ICAN中ROIPooling的输入尺寸改为2048；其中，交互特征包括肢体热力图、空间关系；

步骤4：将步骤2中提取的个体特征和步骤3中提取的交互特征进行特征融合，级联成一个特征向量；

步骤5：将融合后的特征向量转化为每类动作的概率。

2.根据权利要求1所述的视频人体交互行为识别方法，其特征在于：步骤1中，通过行人检测算法来检测和追踪交互行为个体的边界框，并依照得到的边界框来实现单个个体的分割。

3.根据权利要求2所述的频人体交互行为识别方法，其特征在于：采用抽帧取样的处理方式，每隔5帧采样一次，将采用视频传入YOLOv3模型中进行行人检测；同时，使用卡尔曼滤波的方法对检测到的行人进行跟踪。

4.根据权利要求1所述的视频人体交互行为识别方法，其特征在于：步骤2中，采用基于3D-Inception V3进行个体特征提取，通过三维卷积核在整个视频数据上进行时空滑动，生成与输入视频数据对应的3D特征图FM；

其中，个体特征包括时空兴趣点、运动历史图；V表示输入视频，Kernel表示卷积核；i、j表示图像块的空间位置，k表示视频帧的时域序号；H、W、L分别表示视频帧的高度、宽度和同时处理的帧数。

5.根据权利要求1所述的视频人体交互行为识别方法，其特征在于：步骤4中，为维持融合后特征幅值的一致性，在级联前首先对各自特征进行归一化处理；归一化公式如下：

其中，μ、σ分别代表特征向量x的均值和方差；归一化后的特征将分布在[-1,1]范围。

6.根据权利要求1-5任意一项所述的视频人体交互行为识别方法，其特征在于：步骤5中，采用Softmax分类器将融合后的特征向量转化为每类动作的概率；假设共有K个动作类别，对于给定的特征v，其属于类别i的概率p_i计算为：

其中，w_i表示第i个分类器的权重。

7.一种视频人体交互行为识别系统，其特征在于：包括人体分割模块、个体特征提取模块、交互特征提取模块、特征融合模块、动作分类模块；

所述人体分割模块，用于针对输入视频，对视频中的人体图像进行分割；

所述个体特征提取模块，用于针对分割后的各个人体图像，进行个体特征提取；

所述交互特征提取模块，用于针对输入视频，对视频中的人体图像进行交互特征提取；其中，采用基于HICAN进行交互特征提取；HICAN为改进的ICAN，HICAN在保证ICAN功能不变的前提下，将原网络中的ResNet5特征提取模块改为基于对象流的3D-Inception V3网络；同时，为了适应Inception V3的边界框大小，修改输入节点的尺寸，将ICAN中ROI Pooling的输入尺寸改为2048；其中，交互特征包括肢体热力图、空间关系；

所述特征融合模块，用于将提取的个体特征和提取的交互特征进行特征融合，级联成一个特征向量；

所述动作分类模块，用于将融合后的特征向量转化为每类动作的概率。