[发明专利]一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法

权利要求书

1.一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，包括如下步骤：

(1)基于YOLOv3的人体框检测

首先基于YOLOv3检测器进行舞蹈者人体检测框的提取，将RGB图像输入YOLOv3模型，获得相应的人体检测框用于人体姿态估计；

(2)序列多尺度特征融合模型

对步骤(1)中所获得的人体检测框进行关节点特征提取，来获得融合多分辨率多尺度信息的特征；在融合多分辨率多尺度信息的特征上使用softmax函数获得关节点的heatmap，由heatmap估算获得各关节的位置信息；

(3)基于关节点几何关系的层级姿态估计方法

对步骤(2)中所估计得到的人体骨骼关节点进行关节点几何关系关联性预测，通过分析关节点之间的几何关系，构建基于关节点几何关系的层级姿态估计模型，进行多层次的关节点估计。

2.根据权利要求1所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，所述序列多尺度特征融合模型首先以HRNet网络为骨干网络其由4个并行的多分辨率子网构成，每个子网络采用ResNet模块设计原则，由4个残差单元组成。

3.根据权利要求2所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，所述HRNet网络首先以高分辨率的子网络作为起始阶段，然后重复添加从高分辨率到低分辨率的子网络形成第2，3，4阶段的输出，然后，通过聚合单元对高、中、低分辨率的特征进行跨尺度的融合，并行连接多分辨率子网络，得到相应的输出特征图。

4.根据权利要求3所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，所述序列多尺度特征融合模型以HRNet网络最后一个聚合单元输出的4个特征图作为序列多尺度特征融合模块的输入特征其中，m表示输入特征对应的分辨率；对于任意的第ith分辨率的特征，首先进行conv(3×3)卷积操作，然后进行插值和反卷积操作使ith分辨率的特征上采样变成修正后的i-1th分辨率特征

其中，conv表示卷积操作，Int和Dec分别表示插值和反卷积操作；

接着，级联上采样获得的修正后的i-1th分辨率特征和第i-1th分辨率特征得到融合后的第i-1th分辨率特征X′_i-1：

其中，concat表示级联特征和

经过反复执行公式(1)和公式(2)实现高、低分辨率特征的序列融合，通过公式(2)，最终获得融合多分辨率多尺度信息的特征X′₁；

最后，在最终的特征X′₁上使用softmax函数获得关节点的heatmap，由heatmap估算获得各关节的位置信息。

5.根据权利要求1或4所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，根据人体结构将步骤(2)中所获得的关节点划分为两类：第一类是形变较小的连接人体各关节的躯干关节k^trunk；第二类是形变明显的肢体关节k^limb；根据所划分的两类关节，设计层级姿态估计模型，将人体所有关节点聚合为5部分，颈部、左肩、右肩、左臀、右臀，进行基于人体关节几何关系的关节点预测。

6.根据权利要求5所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，基于关节点几何关系的层级姿态估计网络由三阶段组成，网络的第一阶段为根据步骤(2)所设计的SMF模型进行人体所有关节点的heatmap预测，并计算相应的坐标位置；然后将第一阶段所获得的关节点heatmap作为第二阶段网络的输入，鉴于人体躯干关节的形变较小及肢体关节的形变较大的特点，利用SMF模型从第一阶段所获得的所有人体关节中预测形变较稳定的躯干关节k^trunk，将人体关节划分为以躯干关节为主的5部分；接着，将网络第一阶段所有的关节点及第二阶段预测获得的5部分躯干关节作为输入，构建第三阶段网络。