[发明专利]一种单阶段动态位姿识别方法、装置和终端设备

说明书

本发明实施例公开了一种单阶段动态位姿识别方法、装置和终端设备，本申请的技术方案，一方面，在确定视频段中每一帧中的位姿时，是基于M个视频采集装置在同一时间段采集的包括同一组动态位姿的M个视频段对应的M个视频帧集合，利用各个视频帧集合内的视频帧对应的特征子向量相互增强融合实现动态位姿识别，有效增强动态位姿识别的准确度；另一方面，针对M个视频帧集合预先训练M个特征提取模型，利用M个特征提取模型分别提取对应视频帧集合中各个视频帧的特征子向量，进而保证对各个视频帧集合中各个视频帧的特征子向量进行有效提取；再一方面，通过引入注意力等级参数，充分考虑了特征向量可能受到周围特征子向量的影响。

技术领域

本发明涉及人工智能领域，尤其涉及一种单阶段动态位姿识别方法、装置和终端设备。

背景技术

目前，大多数动态位姿识别方法都是基于识别孤立位姿的，识别模型输入视频为手动分割的视频片段，每个视频片段包含一个单独的位姿(手势位姿或身体位姿)。然而，在真实世界场景中，位姿一般是连续执行的，这种基于孤立位姿的方法并不能直接应用。

发明内容

鉴于上述问题，本发明提出一种单阶段动态位姿识别方法、装置和终端设备。

本申请提出一种单阶段动态位姿识别方法，所述方法包括：

获取M个视频帧集合，所述M个视频帧集合为M个视频采集装置在同一时间段采集的包括同一组动态位姿的M个视频段对应的M个视频帧集合，M≥2；

利用预先确定的M个特征提取模型分别提取对应视频帧集合中各个视频帧的特征子向量；

根据预设的注意力等级参数和第m个视频帧集合的第t个特征子向量确定对应的第t个特征向量；

根据所述M个视频帧集合中的各个特征向量识别视频段中每一帧中的位姿。

本申请所述的单阶段动态位姿识别方法，所述第t个特征向量利用以下公式确定：

表示所述第m个视频帧集合的第t个特征向量，0t-pt，tt+qT，|p-q|≤1，T为所述视频段中视频帧的总数，A表示所述注意力等级参数，表示第m个视频帧集合中第t帧视频帧对应的注意力等级a对应的特征子向量，a≤A，V_t^m表示第m个视频帧集合中第t个特征子向量。

本申请所述的单阶段动态位姿识别方法，所述根据所述M个视频帧集合中的各个特征向量识别视频段中每一帧中的位姿，包括：

利用M个第t个特征向量确定第t个特征增强向量；

对所述第t个特征增强向量进行全局平均池化处理以确定第t个特征池化向量；

对所述第t个特征池化向量进行RELU(Rectified Linear Unit，线性整流函数)激活处理以确定第t个特征激活向量；

利用T个特征激活向量组成的特征融合向量识别所述视频段中每一帧中的位姿。

本申请提出所述的单阶段动态位姿识别方法，利用以下公式确定第t个特征池化向量：

Z_t表示所述第t个特征池化向量，表示所述第t个特征增强向量，表示第m个视频帧集合中第t帧视频帧的注意力等级a对应的特征子向量。

本申请所述的单阶段动态位姿识别方法，所述利用T个特征激活向量组成的特征融合向量识别所述视频段中每一帧中的位姿，包括：

对所述利用T个特征激活向量组成的特征融合向量依次进行空洞卷积处理、RELU激活处理、dropout处理和softmax处理以确定所述视频段中每一帧中的位姿所属的预测类别和对应的预测概率。