[发明专利]一种基于关节点信息的关键帧提取方法

摘要

一种基于关节点信息的关键帧提取方法，首先，通过openpose人体姿态提取库提取视频中人体的关节点特征向量x(i)，形成序列S＝{x(1)，x(2)，...，x(N)}；其次，依次使用K‑means++算法和K‑means算法，得到最终的K个聚类中心C′＝{C′i|i＝1，2，…，K}，提取距离每个聚类中心最近的帧作为视频的关键帧，得到关键帧序列F＝{Fi|i＝1，2，…，K}，其中，通过基于关节点贡献度加权欧式距离公式来计算序列S中的特征向量与当前聚类中心的距离来判断其帧间相似性；最后，将关键帧预处理预处理之后输入到时空图卷积网络中进行行为识别，在该过程中能够很好地避免冗余帧带来的时间的消耗和准确率下降等影响，本发明简单易行，效果优良。

主权项

1.一种基于关节点信息的关键帧提取方法，其特征在于，包括以下步骤：1)通过开源的openpose人体姿态库提取视频中人体的关节点信息，每个人体包含18个关节点的二维坐标信息，并将每一帧中的关节点坐标和位置序列定义为特征向量x⁽ⁱ⁾；2)根据关节点的坐标距离来进行帧间聚类分析，提取视频中关键帧；假如视频序列为S＝{x⁽¹⁾，x⁽²⁾，...，x^(N)}，N为视频序列总帧数，i为视频中的第i帧，x⁽ⁱ⁾为序列中的第i帧的18个关节点二维坐标位置向量，x⁽ⁱ⁾为36维向量，对视频序列S进行K簇聚类，获取关键帧包括以下步骤：①从S选择第一帧x⁽¹⁾作为初始聚类中心C₁；②计算每一帧的特征向量与当前已有聚类中心之间的帧间距离，用T_Dis表示，接着计算每个样本被选为下一个聚类中心的概率，选择概率最大的帧作为下一个聚类中心；③重复步骤②直到利用k‑means++算法在序列S中得到K个初始聚类中心，其聚类中心表示为C＝{C_i|i＝1，2，...，K}；；④针对S中的每一个特征向量x⁽ⁱ⁾，计算他到每个聚类中心的距离并将其分到距离最近的聚类中心所对应的类中；⑤针对每个类别C_i，重新计算它的聚类中心⑥在K‑means++聚类结果的基础上，基于帧间距离，使用K‑means算法逐步优化聚类中心，重复步骤④和步骤⑤直到聚类中心收敛，最终得到聚类中心C′＝{C′_i|i＝1，2，...，K}；⑦提取每个聚类中心距离最近的帧作为视频关键帧，并得到关键帧序列F＝{F_i|i＝1，2，...，K}；3)对关键帧进行预处理之后，输入到时空图卷积网络中进行行为识别，其流程如下：①对关键帧的关节点坐标进行归一化；②根据节点矩阵V和关节点链接E构建关键帧的时空图G＝(V,E)。V＝{v_ki|＝1，2，...，K，i＝1，2，...，T},其中T为关键帧数量,T为关节点数；关节点链接E主要包括帧内不同关节点链接E_s＝{v_kiv_kj}和帧间相同关节点链接E_F＝{v_kiv_(k+1)i}，其中i和j是链接的两个关节点序号，k和k+1是相邻的两个关键帧；③将时空图进行多层时空图卷积操作，逐步生成更高级的特征图，并利用标准的Softmax分类器进行行为分类。4)最终得到基于关键帧的行为识别结果。