[发明专利]基于深度网络和字典学习的行人目标检测与重识别方法

权利要求书

1.一种基于深度网络和字典学习的行人目标检测与重识别方法，其特征在于，具体包括如下步骤：

S1：获取第一摄像机拍摄的行人图像数据与行人视频数据，并对所述行人图像数据和行人视频数据进行预处理，根据预处理后的所述行人图像数据与行人视频数据构建第一有标记训练集、第一无标记训练集和第一验证集；获取第二摄像机拍摄的行人图像数据与行人视频数据，进行上述相同的预处理，并构建第二有标记训练集、第二无标记训练集和第二验证集；

S2：为第一摄像机和第二摄像机分别构建各自对应的改进型SSD网络，所述改进型SSD网络包括基础网络、多尺度网络、行人特征提取子网络、行人部件识别子网络、定位子网络和定位预测框筛选模块；

将SSD300网络中原本的目标检测模块的每个卷积层后均添加一个BatchNormalization层，并设置其为定位子网络，用于生成定位预测框；

将SSD300网络中原本的识别模块的每个卷积层后均添加一个BatchNormalization层，并设置其为行人部件识别子网络，用于识别定位预测框标示的区域的行人部件类别；

在SSD300网络的多尺度网络之后，增加一个与定位子网络和行人部件识别子网络并行的行人特征提取子网络，将行人目标检测、行人特征提取和重识别并行进行，用于提取每个定位预测框标示区域的特征；

S3：为第一摄像机和第二摄像机各自对应的改进型SSD网络的行人特征提取子网络输出的行人特征，构建共同的半监督迁移字典学习模块；

所述半监督迁移字典学习模块包括半监督迁移字典学习子模块和预测结果融合子模块；

所述半监督迁移字典学习子模块包括行人整体特征的半监督迁移字典学习子模块、行人头部特征的半监督迁移字典学习子模块、行人上半身特征的半监督迁移字典学习子模块和行人下半身特征的半监督迁移字典学习子模块；

S4：利用第一有标记训练集、第一无标记训练集和第一验证集训练S2中为第一摄像机构建的改进型SSD网络以及S3中构建的半监督迁移字典学习模块，同时利用第二有标记训练集、第二无标记训练集和第二验证集训练S2中为第二摄像机构建的改进型SSD网络以及S3中构建的半监督迁移字典学习模块，得到端到端的行人目标检测与重识别系统；

S5：将待识别的行人图像或行人视频进行预处理后，输入至S4所述行人目标检测与重识别系统，得到行人目标检测与重识别结果。

2.根据权利要求1所述的一种基于深度网络和字典学习的行人目标检测与重识别方法，其特征在于，S1的方法具体包括：

S1.1：获取第一摄像机拍摄的行人图像数据与行人视频数据，并对所述行人图像数据和行人视频数据进行预处理，具体包括：

将获取的行人视频数据转换为行人视频帧图像序列，将全部行人图像和行人视频帧图像保持宽高比并将较长的边缩放到257个像素，居中放置在大小为257*257的黑底图像中；

在所述行人视频帧图像序列中，利用Lucas-Kanade算法计算相邻两个视频帧之间的光流轨迹图，并插入到两个视频帧之间；

S1.2：将由第一摄像机获取的行人图像数据和行人视频帧图像序列按照一定比例构建第一有标记训练集、第一无标记训练集和第一验证集；同样，将由第二摄像机获取的行人图像数据和行人视频帧图像序列按照同样的比例构建第二有标记训练集、第二无标记训练集和第二验证集；

S1.3：对第一有标记训练集、第一验证集、第二有标记训练集和第二验证集中每一幅行人图像和行人视频帧图像中行人整体、行人头部、行人上半身和行人下半身的边界框进行人工标注，获得行人目标检测边界框的位置和大小，并根据行人目标检测边界框标示的区域标注行人类别和行人部件类别；

其中，行人类别表明边界框标示的区域属于哪个行人；

行人部件类别包括四类，分别为行人整体、行人头部、行人上半身和行人下半身，表明边界框标示的区域属于行人整体、行人头部、行人上半身、行人下半身这四个类别中的哪一个。