[发明专利]基于层次动态深度投影差值图像表示的视频行为识别方法及系统

摘要

本发明公开了一种基于层次动态深度投影差值图像(HDDPDI)表示的视频行为识别方法及系统，首先把深度视频序列分别投影在三个正交的笛卡尔平面内生成对应的深度投影图序列，来捕捉人体行为的3D轮廓和运动特征，每个投影平面中基于深度投影图序列来构建对应的HDDPDI。HDDPDI能够同时编码视频中行为的时空运动动态。CNN可以自动学习图像中的差异特征。为了验证所提出HDDPDI视频表示的有效性，构造了一个基于CNN的行为识别框架，其中设计了三种行为分类方案。三个投影平面内的HDDPDI分别单独输入三个相同的预训练CNN进行网络参数的微调，不同的分类方案使用CNN不同的网络层以比较它们对行为识别的影响，每一种分类方案中融合三个投影平面的信息以获取更加丰富全面的行为特征表示。

主权项

1.一种基于层次动态深度投影差值图像表示的视频行为识别方法，其特征在于，包括：对于一个深度视频序列，在三个正交的笛卡尔平面中分别进行投影得到对应平面的深度投影图序列；根据每一个投影平面内的深度投影图序列，构建深度视频在该平面内的层次动态深度投影差值图像表示。层次动态深度投影差值图像表示能够从不同的时间尺度同时编码视频中行为的时空运动动态，包含了丰富的行为运动信息；将深度视频在三个投影平面内生成的层次动态深度投影差值图像表示分别输入三个相同的预训练后的卷积神经网络CNN中，分别提取CNN三个不同网络层的输出；对于每一个网络层输出，融合三个投影平面的行为信息进行分类与识别。