[发明专利]一种基于数据融合的人体动作预判方法

权利要求书

1.一种基于数据融合的人体动作预判方法，其特征是按如下步骤进行：

步骤1：获取一组人体动作的序列数据作为训练样本：

所述训练样本是由人体动作特征数据D＝{D_i|i＝1,2,…,N}和人体动作分类标签数据Y＝{y_i|i＝1,2,…,N}组成，其中，N表示所述训练样本的个数，D_i表示所述训练样本中第i条人体动作的特征数据，并有：D_i＝{(t_j,X_i,j)|i＝1,2,…,N；j＝1,2,…,L_i}，L_i表示所述训练样本中第i条人体动作特征数据D_i的长度，t_j表示所述训练样本中第j个时间，X_i,j表示所述训练样本中第i条人体动作特征数据D_i在第j个时间t_j对应的特征向量，并有：U表示所述训练样本中人体关键部位的维度，表示所述训练样本中第i条人体动作特征数据D_i在第j个时间t_j上第u维人体关键部位的特征值；y_i表示所述训练样本中第i条人体动作特征数据D_i对应的人体动作分类标签，并有：y_i＝{c_m|m＝1,2,…,M}，M表示人体动作分类标签的个数，c_m表示第m个人体动作分类标签，i∈[1,N]，j∈[1,L_i]，u∈[1,U]，m∈[1,M]；

步骤2：将所述训练样本分别截断为长度为r,2r,…,d×r,…,S×r的人体动作序列数据，从而得到S个截断的训练样本，其中，r和S是正整数，第d个截断的训练样本记为表示所述第d个截断的训练样本D^d中第i条人体动作特征数据，并有d∈[1,S]；

步骤3：选择一种人体动作的概率分类器，将所述第d个截断的训练样本D^d中第u维人体关键部位特征数据输入所述概率分类器，从而训练得到在所述第d个截断的训练样本D^d中第u维人体关键部位特征数据D^d,u上的人体动作概率分类器F_d,u；进而得到S×U个人体动作概率分类器{F_d,u|d＝1,2,…,S；u＝1,2,…,U}；其中，表示第d个截断的训练样本D^d中第i条人体动作特征数据的第u维人体关键部位，且

步骤4：将所述第d个截断的训练样本D^d中第u维人体关键部位特征数据D^d,u输入所述训练后的人体动作概率分类器F_d,u，从而得到第d个截断的训练样本D^d中第u维人体关键部位特征数据D^d,u的人体动作分类的概率结果其中，P_i^d,u表示所述第d个截断的训练样本D^d中第i条人体动作特征数据的第u维人体关键部位的分类概率结果，并有：表示所述第d个截断的训练样本D^d中第i条人体动作特征数据的第u维人体关键部位的分类概率结果P_i^d,u中第m类的概率；进而得到S×U个人体动作分类的概率结果{P^d,u|d＝1,2,…,S；u＝1,2,…,U}；

步骤5：计算在所述第d个截断的训练样本D^d中第u维人体关键部位特征数据D^d,u在分类结果P^d,u中的权重w_d,u，从而得到S×U个权重值{w_d,u|d＝1,2,…,S；u＝1,2,…,U}：

步骤5.1：利用式(1)计算所述人体动作概率分类器F_d,u的错误率e_d,u：

式(1)中，||·||表示集合中元素的个数，表示当(·)取最大值时m的取值，c_b表示第b个人体动作分类标签，b∈[1,M]；

步骤5.2：利用式(2)计算所述第d个截断的训练样本D^d中第u维人体关键部位特征数据D^d,u在分类结果P^d,u中的权重w_d,u：

式(2)中，e_d,k表示所述第d个截断的训练样本D^d中第k维人体关键部位特征数据D^d,k上的人体动作概率分类器F_d,k的错误率；

步骤6：利用式(3)得到第d个截断的训练样本D^d中第i条人体动作特征数据融合后的分类概率结果中第m类的概率从而得到第d个截断的训练样本D^d中第i条人体动作特征数据融合后的分类概率结果

步骤7：利用式(4)得到第d个截断的训练样本D^d中第i条人体动作特征数据归一化后的分类概率结果中第m类的概率从而得到第d个截断的训练样本D^d中第i条人体动作特征数据归一化后的概率分类结果进而得到第d个截断的训练样本D^d中N条人体动作特征数据归一化后的概率分类结果最终得到S×N个归一化后的分类概率结果

式(4)中，表示所述第d个截断的训练样本D^d中第i条人体动作特征数据融合后的分类概率结果中第z类的概率；

步骤8：利用式(5)计算所述第d个截断的训练样本D^d中归一化后的分类概率结果的正确率a_d，从而得到S个归一化后的分类概率结果的正确率{a_d|d＝1,2,…,S}：

式(5)中，c_g表示第g个人体动作分类标签，g∈[1,M]；

步骤9：确定式(6)所示的人体动作预判规则函数中的参数λ₁、λ₂和λ₃，从而建立人体动作预判模型：

式(6)中，表示所述第d个截断的训练样本D^d中第i条人体动作特征数据归一化后的概率分类结果中最大值，表示所述第d个截断的训练样本D^d中第i条人体动作特征数据归一化后的概率分类结果中第二大的值；

步骤9.1：利用式(7)建立目标函数f：

f＝α×(N-correct)+(1-α)×earliness (7)

式(7)中，α是一个常数，且0≤α≤1；correct是分类正确的样本个数；earliness是提前量；

步骤9.2：定义目标函数的最小值为f_min，并初始化f_min＝N，定义第一参数λ₁的循环变量为λ′₁，并初始化λ′₁＝-1，初始化循环变量的步长ε＝J，其中，J是一个常量；

步骤9.3：如果λ′₁≤1，则执行步骤9.4；否则，表示得到训练好的人体动作预判模型用于实现对其他人体动作序列的预判；

步骤9.4：定义第二参数λ₂的循环变量为λ′₂，并初始化λ′₂＝-1；

步骤9.5：如果λ′₂≤1，则执行步骤9.6；否则，将λ′₁+ε赋值给λ′₁后，执行步骤9.3；

步骤9.6：定义第三参数λ₃的循环变量为λ′₃，并初始化λ′₃＝-1；

步骤9.7：如果λ′₃≤1，则执行步骤9.8；否则，将λ′₂+ε赋值给λ′₂后，执行步骤9.5；

步骤9.8：初始化i＝1、correct＝0、earliness＝0；

步骤9.9：如果i≤N，则初始化d＝1后，执行步骤9.11；否则，利用式(7)计算目标函数f的值后，执行步骤9.10；

步骤9.10：判断f＜f_min是否成立，若成立，则将f赋值给f_min，λ′₁赋值给λ₁，λ′₂赋值给λ₂，λ′₃赋值给λ₃，λ′₃+ε赋值给λ′₃后，执行步骤9.7；否则，将λ′₃+ε赋值给λ′₃后，执行步骤9.7；

步骤9.11：如果d≤S，则利用式(6)计算人体动作预判规则函数的值后，执行步骤9.12；否则，执行步骤9.13；

步骤9.12：如果则将d+1赋值给d后，执行步骤9.11；否则，执行步骤9.13；

步骤9.13：利用式(8)计算更新后的提前量earliness′并赋值给earliness；

earliness′＝earliness+min(1.0,d×r/L_i) (8)

式(8)中，min(·)为取最小值函数；

步骤9.14：如果c_g＝y_i，其中，则将correct+1赋值给correct，将i+1赋值给i后，执行步骤9.9，否则将i+1赋值给i后，执行步骤9.9。