[发明专利]一种单阶段动态位姿识别方法、装置和终端设备

权利要求书

1.一种单阶段动态位姿识别方法，其特征在于，所述方法包括：

获取M个视频帧集合，所述M个视频帧集合为M个视频采集装置在同一时间段采集的包括同一组动态位姿的M个视频段对应的M个视频帧集合，M≥2；

利用预先确定的M个特征提取模型分别提取对应视频帧集合中各个视频帧的特征子向量；

根据预设的注意力等级参数和第m个视频帧集合的第t个特征子向量确定对应的第t个特征向量；

根据所述M个视频帧集合中的各个特征向量识别视频段中每一帧中的位姿；

所述第t个特征向量利用以下公式确定：

表示所述第m个视频帧集合的第t个特征向量，0t-pt，tt+qT，|p-q|≤1，T为所述视频段中视频帧的总数，A表示所述注意力等级参数，表示第m个视频帧集合中第t帧视频帧对应的注意力等级对应的特征子向量，≤A，表示第m个视频帧集合中第t个特征子向量。

2.根据权利要求1所述的单阶段动态位姿识别方法，其特征在于，所述根据所述M个视频帧集合中的各个特征向量识别视频段中每一帧中的位姿，包括：

利用M个第t个特征向量确定第t个特征增强向量；

对所述第t个特征增强向量进行全局平均池化处理以确定第t个特征池化向量；

对所述第t个特征池化向量进行RELU激活处理以确定第t个特征激活向量；

利用T个特征激活向量组成的特征融合向量识别所述视频段中每一帧中的位姿。

3.根据权利要求2所述的单阶段动态位姿识别方法，其特征在于，利用以下公式确定第t个特征池化向量：

Z_t表示所述第t个特征池化向量，，表示所述第t个特征增强向量，η_t(,m)=表示第m个视频帧集合中第t帧视频帧的注意力等级对应的特征子向量。

4.根据权利要求2所述的单阶段动态位姿识别方法，其特征在于，所述利用T个特征激活向量组成的特征融合向量识别所述视频段中每一帧中的位姿，包括：

对所述利用T个特征激活向量组成的特征融合向量依次进行空洞卷积处理、RELU激活处理、dropout处理和softmax处理以确定所述视频段中每一帧中的位姿所属的预测类别和对应的预测概率。

5.根据权利要求4所述的单阶段动态位姿识别方法，其特征在于，还包括：

根据以下公式计算所述视频段的分类损失：

L_s表示所述视频段的分类损失，C表示预测类别总数，∆_t,c表示第t帧视频帧中的位姿属于预测类别c时所对应的分类损失，y_t,c表示第t帧视频帧中的位姿属于预测类别c时所对应的预测概率，y_t-1,c表示第t-1帧视频帧中的位姿属于预测类别c时所对应的预测概率，ε表示预设的概率阈值。

6.根据权利要求1至5任一项所述的单阶段动态位姿识别方法，其特征在于，所述位姿包括手势位姿和/或身体位姿。

7.一种单阶段动态位姿识别装置，其特征在于，所述装置包括：

获取模块，用于获取M个视频帧集合，所述M个视频帧集合为M个视频采集装置在同一时间段采集的包括同一组动态位姿的M个视频段对应的M个视频帧集合，M≥2；

确定模块，用于利用预先确定的M个特征提取模型分别提取对应视频帧集合中各个视频帧的特征子向量；还用于根据预设的注意力等级参数和第m个视频帧集合的第t个特征子向量确定对应的第t个特征向量；

识别模块，用于根据所述M个视频帧集合中的各个特征向量识别视频段中每一帧中的位姿；

所述确定模块，还用于利用以下公式确定所述第t个特征向量：

表示所述第m个视频帧集合的第t个特征向量，0t-pt，tt+qT，|p-q|≤1，T为所述视频段中视频帧的总数，A表示所述注意力等级参数，表示第m个视频帧集合中第t帧视频帧对应的注意力等级对应的特征子向量，≤A，表示第m个视频帧集合中第t个特征子向量。