[发明专利]视频处理方法及相关装置，图像处理方法及相关装置

权利要求书

1.一种视频处理方法，其特征在于，包括：

获取待处理视频，所述待处理视频中的视频帧包括身份待识别的对象；

根据所述待处理视频生成第一步态能量图；

获取身份已知的对象的视频的第二步态能量图；所述第一步态能量图和第二步态能量图分别对应唯一的标识；

将所述第一步态能量图和第二步态能量图输入深度神经网络，进行第一步态识别；

其中，所述第一步态识别包括：

提取所述第一、第二步态能量图对应的身份信息，以及，所述第一步态能量图和第二步态能量图的融合步态特征向量；所述第一步态能量图的身份信息包括所述第一步态能量图的标识和所述第一步态能量图的步态特征向量，所述第二步态能量图的身份信息包括所述第二步态能量图的标识和所述第二步态能量图的步态特征向量；所述融合步态特征向量由所述第一步态能量图和第二步态能量图的步态特征向量决定；

深度神经网络包括身份信息提取层和融合步态特征向量提取层，身份信息提取层可至少包括第一提取层和第二提取层，第一提取层提取输入的第一步态能量图和第二步态能量的第一级步态特征向量，并将第一级步态特征向量输入第二提取层，由第二提取层提取第一步态能量图和第二步态能量图各自的第二级步态特征向量；

融合步态特征向量提取层则将第一步态能量图和第二步态能量图各自对应的第二级步态特征向量进行融合，得到第二级融合步态特征向量；

或；

融合步态特征向量提取层将输入的深度神经网络的第一步态能量图和第二步态能量图各自对应的第一级步态特征向量进行融合，得到第一级融合步态特征向量，并根据第一级融合步态特征向量提取得到第二级融合步态特征向量；

至少根据提取的第二级融合步态特征向量计算所述第一、第二步态能量图的相似度。

2.如权利要求1所述的方法，其特征在于，

所述深度神经网络在训练过程中根据身份信息和融合步态特征向量进行了滤波器参数调整；

所述训练过程的训练目标包括：

从同一对象的不同步态能量图中提取的步态特征向量相似，从不同对象的步态能量图中提取的步态特征向量相远离。

3.如权利要求2所述的方法，其特征在于，所述训练过程中使用的每一训练样本包括n个训练子样本，任一所述训练子样本包括两幅身份已知的对象的步态能量图，所述n为正整数；

所述训练过程包括：

使用所述深度神经网络对所述训练样本中的每一训练子样本执行第二步态识别；其中，所述第二步态识别包括：提取所述训练子样本中两幅步态能量图各自的身份信息以及所述两幅步态能量图的融合步态特征向量，并至少根据提取的融合步态特征向量计算所述两幅步态能量图的相似度；

根据在所述第二步态识别中提取的身份信息，使用身份信息损失函数计算所述训练样本的身份损失值；所述身份损失值越小，表征从同一对象不同步态能量图中提取的步态特征向量越相似，而从不同对象的步态能量图中提取的步态特征向量越远离；

使用融合步态特征向量损失函数计算所述训练样本的融合损失值；

对所述融合损失值和身份损失值求加权和，得到所述训练样本的最终损失值；

根据至少一个训练样本的最终损失值调整所述深度神经网络的滤波器参数。

4.如权利要求3所述的方法，其特征在于，

所述n＝3，所述训练样本包括第一至第三训练子样本，所述第一至第三训练子样本的组合方式包括：

第一组合方式：所述第一训练子样本中的两幅步态能量图对应同一对象；所述第二训练子样本中的两幅步态能量图对应不同的对象；所述第三训练子样本中的两幅步态能量图对应不同的对象；

或者，

第二组合方式：所述第一训练子样本中的两幅步态能量图对应同一对象；所述第二训练子样本的两幅步态能量图对应所述同一对象；所述第三训练子样本中的两幅步态能量图对应不同的对象。