[发明专利]一种运动目标识别训练方法、运动目标识别方法及装置

说明书

本申请公开了一种运动目标识别训练方法、运动目标识别方法及装置，该运动目标识别训练方法包括：获得不同时间点拍摄的多张图像；获得每张所述图像中目标的第一类静态特征和第二类静态特征；将每张所述图像中所述第一类静态特征和所述第二类静态特征进行融合得到融合特征；将至少部分所述图像的所述融合特征进行分类训练直至整个网络收敛。通过上述方式，能够有效提高目标特征的丰富性，训练得到表征能力更强、鲁棒性更好的运动目标识别模型。

技术领域

本申请涉及计算机视觉及机器学习技术领域，特别是涉及一种运动目标识别训练方法、运动目标识别方法及装置。

背景技术

运动目标识别是指利用行人在行走过程中的抓拍图像，对图像中的行人目标进行身份识别。目前比较前沿的行人识别技术主要分为两类，分别是行人重识别（Person Re-identification）和步态识别（Gait Recognition），前者主要依靠图像提取如行人的穿着、发型、背包、雨伞等静态外部特征；而后者则是从行人连续运动过程中学习如走路姿态、手臂摆幅、晃头耸肩、运动神经敏感度等动态特征。

本申请的发明人在长期研发中发现，通过现有技术执行运动目标识别任务时，往往依赖于较为单一的特征，如静态的RGB图像或轮廓图像等，特征的鲁棒性不强，导致识别结果的准确度不高；另外，现有的一些基于特征融合的运动目标识别技术方案，如利用RGB图像的全局特征与局部特征进行融合，同样存在特征模态较为单一的问题，在牺牲大量性能的同时，并不能获得预制匹配的准确率的提升。

发明内容

本申请主要解决的技术问题是提供一种运动目标识别训练方法、运动目标识别方法及装置，能够提高运动目标识别的鲁棒性和准确性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种运动目标识别训练方法，包括：获得连续的多张图像；将每张所述图像依序输入双层ViT特征融合模型的内层输入端，以获得每张所述图像中目标的第一类静态特征和第二类静态特征；将每张所述图像中所述第一类静态特征和所述第二类静态特征在双层ViT特征融合模型的内层输出端进行融合得到融合特征；将至少部分所述图像的所述融合特征依序输入所述双层ViT特征融合模型的外层输入端进行分类训练直至整个网络收敛。

其中，所述获得每张所述图像中目标的第一类静态特征和第二类静态特征包括：获得每张所述图像中目标的细粒度静态特征和细粒度轮廓特征。

其中，所述获得每张所述图像中目标的细粒度静态特征和细粒度轮廓特征包括：将所述目标分割为若干部分，依序输入双层ViT特征融合模型的内层第一输入端，获得所述细粒度静态特征；将所述目标的轮廓分割为若干部分，依序输入所述双层ViT特征融合模型的内层第二输入端，获得所述细粒度轮廓特征。

其中，所述将每张所述图像中所述第一类静态特征和所述第二类静态特征进行融合得到融合特征包括：将所述细粒度静态特征和所述细粒度轮廓特征在所述双层ViT特征融合模型的内层输出端进行加权平均融合，得到所述融合特征。

其中，所述将至少部分所述图像的所述融合特征依序输入所述双层ViT特征融合模型的外层输入端进行分类训练包括：将至少部分所述图像的所述融合特征依序输入所述双层ViT特征融合模型的外层输入端进行基于归一化指数损失的分类训练，其中嵌入层的维度设置为128的正整数倍，直至整个网络收敛。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种运动目标识别方法，包括：获取待识别目标连续的多张图像；将每张所述图像依序输入双层ViT特征融合模型的内层输入端，以获取每张所述图像中所述待识别目标的第一类静态特征和第二类静态特征；将每张所述图像中的所述第一类静态特征和所述第二类静态特征在双层ViT特征融合模型的内层输出端进行融合得到融合特征；将至少部分所述图像的所述融合特征依序输入所述双层ViT特征融合模型的外层输入端进行融合，得到动态特征；根据所述动态特征得到识别结果。