[发明专利]一种基于视频的人体行为识别方法

权利要求书

1.一种基于视频的人体行为识别方法，其特征在于，包括如下步骤：

S1获取或选择包含深度和骨骼信息的人体行为视频的数据集，选择重要信息视频片段作为输入；

S2对数据预处理：将深度图序列转化为三维点云，仅保留重要部位附近点云；

S3对人体行为序列进行动作片段的划分，将每个动作的重要部位三维点云每帧叠加得到运动轨迹；

S4对运动轨迹进行三维卷积神经网络特征图提取，得到时空特征图，根据骨骼点位置信息生成对应的热图；

S5对时空特征图与热图进行操作，得到所有骨骼点特征集合；

S6对每个骨骼点分别进行决策，得到局部决策集合；

S7将所有局部决策结果融合，得到最终的行为分类结果，建立识别模型；

S8根据识别模型，确定待识别人体行为的行为类别。

2.根据权利要求1所述的一种基于视频的人体行为识别方法，其特征在于，所述深度图中像素的xy坐标作为三维点的xy坐标，将代表深度数据的像素值作为三维点的z坐标，从而形成三维点云，三维点云也称点云。

3.根据权利要求1所述的一种基于视频的人体行为识别方法，其特征在于，所述重要部位附近点云，指以表示重要部位的一个或一组骨骼点为中心，取一适当大小的长方体，被该长方体包含的三维点云的集合即为该重要部位附近点云。

4.根据权利要求1所述的一种基于视频的人体行为识别方法，其特征在于，所述步骤S1获取或选择包含深度和骨骼信息的人体行为视频的数据集包括获取对应的骨架点坐标、骨架点帧间坐标差和骨架特征。

5.根据权利要求4所述的一种基于视频的人体行为识别方法，其特征在于，所述骨骼点坐标包括骨架的三维绝对坐标和中心点的相对坐标，所述骨架点帧间坐标差包括相邻帧间坐标差和间隔帧间坐标差，所述骨架特征包括骨架长度和骨架旋转角。

6.根据权利要求1所述的一种基于视频的人体行为识别方法，其特征在于，所述步骤S1选择重要信息视频片段作为输入包括提取单元，提取单元用于针对任一原始视频，将原始视频均分为T段，对每段使用三维卷积深度神经网络进行特征提取，得到第t段视频在深度神经网络模型第i个卷积层的特征图输出表示f(t)，t＝1,2，…,T；第一计算模块，用于计算各段视频的特征图平均值，得到视频特征图第二计算模块，用于根据所述视频特征图计算所述原始视频的空间特征图fθ：其中，其中，θ是嵌入函数，表示特征嵌入空间。

7.根据权利要求1所述的一种基于视频的人体行为识别方法，其特征在于，所述待识别人体包括注意力模块和识别模块。

8.根据权利要求7所述的一种基于视频的人体行为识别方法，其特征在于，所述注意力模块中包含图卷积模块和基于人体部位的注意力子模块，识别模块用于根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。