[发明专利]一种用于提取人体骨骼特征的模型训练方法及装置

权利要求书

1.一种用于提取人体骨骼特征的模型训练方法，其特征在于，所述方法包括：

获取第一骨骼数据集合和第二骨骼数据集合，所述第一骨骼数据集合和所述第二骨骼数据集合均包括N笔骨骼数据，所述第一骨骼数据集合为采用第一数据增强方式对N笔初始骨骼数据进行数据增强后得到的，所述第二骨骼数据集合为采用第二数据增强方式对所述N笔初始骨骼数据进行数据增强后得到的；

基于所述第一骨骼数据集合和所述第二骨骼数据集合，训练用于提取人体骨骼特征的模型；其中：

所述第一骨骼数据集合经由所述模型得到第一骨骼特征集合，所述第二骨骼数据集合经由所述模型得到第二骨骼特征集合，所述第一骨骼特征集合和所述第二骨骼特征集合均包括N个骨骼特征；所述模型的损失，基于所述N笔初始骨骼数据的损失确定，所述N笔初始骨骼数据包括第一初始骨骼数据，所述第一初始骨骼数据的损失，根据第一骨骼特征和第二骨骼特征的第一相似度、以及所述第一相似度对应的权重确定，所述第一骨骼特征为所述第一骨骼特征集合中与所述第一初始骨骼数据对应的特征，所述第二骨骼特征为所述第二骨骼特征集合中与所述第一初始骨骼数据对应的特征，并且，所述第一相似度对应的权重大于所述第一骨骼特征与第三骨骼特征的相似度对应的权重，所述第一相似度对应的权重大于所述第二骨骼特征与第四骨骼特征的相似度对应的权重，其中，所述第三骨骼特征为2*N个骨骼特征中除所述第二骨骼特征之外的其它（2*N-1）个骨骼特征中的任意一个骨骼特征，所述第四骨骼特征为所述2*N个骨骼特征中除所述第一骨骼特征之外的其它（2*N-1）个骨骼特征中的任意一个骨骼特征，所述2*N个骨骼特征包括所述第一骨骼特征集合中的N个骨骼特征和所述第二骨骼特征集合中的N个骨骼特征。

2.根据权利要求1所述的方法，其特征在于，

所述第一初始骨骼数据的损失，根据所述第一相似度、所述第一相似度对应的权重、以及所述第一骨骼特征和所述2*N个骨骼特征中除所述第一骨骼特征之外的其它（2*N-1）个骨骼特征中各个骨骼特征分别对应的相似度、以所述各个骨骼特征分别对应的相似度的权重确定。

3.根据权利要求1所述的方法，其特征在于，所述第一骨骼特征和所述第二骨骼特征之间的第一相似度，通过如下方式确定：

根据特征映射模块对所述第一骨骼特征进行处理，得到第一特征；

根据所述特征映射模块对所述第二骨骼特征进行处理，得到第二特征；

将所述第一特征和所述第二特征的余弦相似度，确定为所述第一相似度。

4.根据权利要求3所述的方法，其特征在于，在所述模型的训练过程中，所述特征映射模块的参数根据所述模型的损失调整。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述第一初始骨骼数据，包括以下至少一个维度的数据：

关节点维度、关节点运动维度、骨头维度以及骨头运动维度。

6.根据权利要求5所述的方法，其特征在于，所述模型包括特征提取模块和特征融合模块；当所述第一初始骨骼数据包括至少两个维度的数据时，所述特征提取模块，用于对第一骨骼数据中各个维度的数据进行特征提取，所述特征融合模块用于对提取的各个维度对应的数据特征进行融合，得到所述第一初始骨骼数据的骨骼特征，其中，所述第一骨骼数据为利用第一数据增强方式对所述第一初始骨骼数据进行处理得到的数据。

7.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

基于所述2*N个骨骼特征计算所述2*N个骨骼特征中任意两个骨骼特征之间的相似度，得到2N*2N的第一相似度矩阵，所述第一相似度矩阵的第i行第j列对应的元素，用于指示所述2*N个骨骼特征中第i个骨骼特征和第j个骨骼特征的相似度；

将所述第一相似度矩阵的对角元素的值修改为预设值，得到第二相似度矩阵；

根据最优传输分配算法对所述第二相似度矩阵进行处理，得到权重矩阵，所述权重矩阵的第i行第j列对应的元素，用于指示所述2*N个骨骼特征中第i个骨骼特征和第j个骨骼特征的相似度的权重。