[发明专利]基于层次动态深度投影差值图像表示的视频行为识别方法及系统

权利要求书

1.一种基于层次动态深度投影差值图像表示的视频行为识别方法，其特征在于，包括：

对于一个深度视频序列，在三个正交的笛卡尔平面中分别进行投影得到对应平面的深度投影图序列；

根据每一个投影平面内的深度投影图序列，构建深度视频在该平面内的层次动态深度投影差值图像表示；层次动态深度投影差值图像表示能够从不同的时间尺度同时编码视频中行为的时空运动动态，包含了丰富的行为运动信息；

将深度视频在三个投影平面内生成的层次动态深度投影差值图像表示分别输入三个相同的预训练后的卷积神经网络CNN中，分别提取CNN三个不同网络层的输出；对于每一个网络层输出，融合三个投影平面的行为信息进行分类与识别；

根据每一个投影平面内的深度投影图序列，构建深度视频在该平面内的层次动态深度投影差值图像表示，具体为：

对每个平面中的深度投影图序列按照时间顺序进行层次采样，生成不同时间尺度下的采样深度投影图序列；

通过计算每一个时间尺度下的采样深度投影图序列中相邻两帧图像的绝对帧差得到深度投影差值图像序列；

使用排序池化来编码深度投影差值图像序列，生成动态深度投影差值图像；

每个投影平面中不同时间尺度下的动态深度投影差值图像构成了深度视频在该平面内的层次动态深度投影差值图像表示。

2.如权利要求1所述的一种基于层次动态深度投影差值图像表示的视频行为识别方法，其特征在于，对于一个深度视频序列，在三个正交的笛卡尔平面中分别进行投影得到对应的深度投影图序列，具体为：深度视频序列中的每一帧被投影在三个2D正交的笛卡尔平面内，其中X-Y平面表示前向，Y-Z平面表示侧向，X-Z平面表示俯向。

3.如权利要求1所述的一种基于层次动态深度投影差值图像表示的视频行为识别方法，其特征在于，对每个平面中的深度投影图序列按照时间顺序进行层次采样，生成不同时间尺度下的采样深度投影图序列，具体为：

基于深度投影图序列，从初始帧开始以采样步长s按照时间顺序进行采样；初始帧在采样过程中以步长s_f沿时间轴进行不断地更新；

每个投影平面内原始的深度投影图序列记为第一个时间尺度；

初始帧被初始化为第一帧，按照采样步长s得到第二个时间尺度下的采样深度投影图序列，所包含的图像帧数为[N/s]，[N/s]表示大于N/s的最小整数，N表示视频序列的帧数；

按照步长s_f更新初始帧，继续进行采样，得到第三个时间尺度下的采样深度投影图序列；

依次类推，直至初始帧达到移动下限。

4.如权利要求3所述的一种基于层次动态深度投影差值图像表示的视频行为识别方法，其特征在于，初始帧的移动下限具体为：

设置一个比例阈值r来限定初始帧移动的下限，即初始帧索引不超过N*r，以保证采样序列能够包含完整的行为信息。