[发明专利]视频中人体动作切分方法及装置

权利要求书

1.一种视频中人体动作切分方法，其特征在于，该方法包括以下步骤：

获取待切分视频，使用卷积神经网络提取所述待切分视频中每帧图像的人体骨骼关键点信息，并将每帧图像的所述人体骨骼关键点信息按照原视频中各帧的前后顺序组成输入关键点序列；

通过预设时间长度的滑窗在所述输入关键点序列中提取多个候选序列；

将所述候选序列中每一帧与标准序列中每一帧对多种动作距离加权求和作为参数，基于动态时间规划算法计算各候选序列与动作切分标准库中标准序列的距离，其中，所述动作距离包括：关节角度距离：两帧之间相同关节角度的余弦距离；和/或关键点空间距离：两帧之间相同关键点的欧氏距离；和/或骨骼向量距离：两帧之间相同骨骼向量的余弦距离；和/或关键点时序距离：两帧之间关键点时序向量的余弦距离，所述关键点时序向量为下一帧该关键点坐标向量减去本帧该关键点坐标向量；和/或骨骼时序距离：两帧之间相同骨骼时序向量的余弦距离，所述骨骼时序向量为下一帧该骨骼向量减去本帧该骨骼向量；

在时域上对各候选序列与标准序列的距离进行非极大值抑制，并获取在时域上不交叠且与所述标准序列距离小于设定阈值的候选序列作为切片，按照所述切片对应的时段对待切分视频进行切分。

2.根据权利要求1所述的视频中人体动作切分方法，其特征在于，所述输入关键点序列和所述标准序列是基于人体姿态估计算法对标准视频处理得到的人体骨骼关键点序列，同时去除了对动作区分贡献较小的关键点，并添加了对动作区分贡献较大的关键点。

3.根据权利要求2所述的视频中人体动作切分方法，其特征在于，所述人体姿态估计算法为Alphapose算法。

4.根据权利要求2所述的视频中人体动作切分方法，其特征在于，所述输入关键点序列和所述标准序列中的采用的关键点包括：

头部、胸部、左肩、右肩膀、左肘、右肘、左手、右手、左胯、右胯、左膝、右膝、左脚以及右脚。

5.根据权利要求1所述的视频中人体动作切分方法，其特征在于，所述方法还包括：

获取所述待切分视频中各帧对应的人体矩形框，并根据所述人体矩形框的长宽对所述人体骨骼关键点信息进行归一化处理。

6.根据权利要求1所述的视频中人体动作切分方法，其特征在于，所述关节角度包括：左肘-左肩-左胯的关节角度、右肘-右肩-右胯的关节角度、左肩-左肘-左手的关节角度、右肩-右肘-右手的关节角度、右胯-左胯-左膝的关节角度、左胯-右胯-右膝的关节角度、左胯-左膝-左脚的关节角度以及右胯-右膝-右脚的关节角度。

7.根据权利要求1所述的视频中人体动作切分方法，其特征在于，所述骨骼向量包括：胸部至头部向量、胸部至左肩向量、胸部至右肩向量、左肩至左肘向量、右肩至右肘向量、左肘至左手向量、右肘至右手向量、左肩至左胯向量、右肩至右胯向量、左胯至右胯向量、左胯至左膝向量、右胯至右膝向量、左膝至左脚向量以及右膝至右脚向量。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。