[发明专利]一种基于人体解析粗细粒度结合的行人重识别系统及方法

权利要求书

1.一种基于人体解析粗细粒度结合的行人重识别系统，其特征在于，包括参数预训练初始化模块、监控视频数据读取模块、视频图像分析模块、行人特征提取模块、人体重识别模型加载模块、用户检索模块；所述参数预训练初始化模块用于在公开数据集中进行参数预训练初始化网络，得到行人重识别网络模型；

所述监控视频数据读取模块用于上传和读取视频数据，并发送给所述视频图像分析模块；

所述用户检索模块用于上传待检索人体图像，并发送给所述视频图像分析模块；视频图像分析模块包括视频解码子模块和图像预处理子模块，所述视频解码子模块用于对所述监控视频数据读取模块上传的视频数据进行解码并处理成可处理的图像；所述图像预处理子模块用于提高视频解码后的图像和待检索人体图像的视觉效果；

所述行人特征提取模块用于设计粗细粒度结合的神经网络，粗细粒度结合的神经网络中的粗粒度分支和细粒度分支学习分别提取到视频解码后的图像和待检索人体图像的行人特征，并储存；进行人体解析注意力机制操作，通过语义注意图对人体的不同部位进行定位，将人体语义注意力图在不同的阶段来与卷积网络不同层次的特征进行结合使网络对身体的局部区域进行关注；其中，对于粗粒度分支，采用知识蒸馏损失函数增强对全局特征的提取，对于细粒度分支，采用知识蒸馏损失函数与三元组损失函数来增强对细节特征的提取；学习到的特征进行拼接得到行人特征集合f_i；再利用SEBlock来学习一个特征向量重要性权值W选择性增强判别力强的特征、抑制判别力弱的特征；

所述人体重识别模型加载模块用于根据储存的行人特征和待检索人体图像利用所述行人重识别网络模型进行检索匹配，并计算得到相似度。

2.根据权利要求1所述的一种基于人体解析粗细粒度结合的行人重识别系统，其特征在于，所述用户检索模块还用于设定相似度阈值。

3.根据权利要求1所述的一种基于人体解析粗细粒度结合的行人重识别系统，其特征在于，所述人体重识别模型加载模块还用于将计算得到的相似度反馈给所述用户检索模块。

4.一种如权利要求1所述的行人重识别系统的方法，其特征在于，包括以下几个步骤：

步骤A：在公开的数据集上进行参数预训练初始化网络，得到行人重识别网络模型；

步骤B：在所述监控视频数据读取模块中上传、读取视频数据；所述视频解码子模块将视频数据进行解码，处理成可采用的图片格式，对其进行图像预处理，再利用设计的粗细粒度结合的神经网络模型，提取行人特征，进行人体解析注意力机制操作，通过语义注意图对人体的不同部位进行定位，将人体语义注意力图在不同的阶段来与卷积网络不同层次的特征进行结合使网络对身体的局部区域进行关注；所述粗细粒度结合的神经网络模型包括粗粒度分支和细粒度分支；对于粗粒度分支，采用知识蒸馏损失函数增强对全局特征的提取，对于细粒度分支，采用知识蒸馏损失函数与三元组损失函数来增强对细节特征的提取；学习到的特征进行拼接得到行人特征集合f_i；再利用SEBlock来学习一个特征向量重要性权值W选择性增强判别力强的特征、抑制判别力弱的特征；

W＝Sigmoid(FC(ReLU(FC(f_i))))

其中，从内向外的两个FC层用来压缩和激活；

在得到行人特征向量重要性权值W后，输出行人特征f₀

f₀＝f_i*W+f_i

并储存；

步骤C：在所述检索模块中上传待检索人体图像，利用步骤B计算输出待检索人体图像的行人特征；

步骤D：所述行人重识别网络模型根据所述待检索人体图像的行人特征，在视频解码后的图像中以一定的帧隔间抽取检测、计算行人特征相似度，若高于阈值，将其保存并以相似度大小排列返回。

5.根据权利要求4中所述的行人重识别系统的方法，其特征在于，在步骤B中，所述图片格式可以为JPG、PNG。

6.根据权利要求4中所述的行人重识别系统的方法，其特征在于，在步骤B中，所述视频数据来自监控摄像头。