[发明专利]基于循环神经网络注意力模型的行人属性识别网络及技术

说明书

本发明提供了一种基于循环神经网络注意力模型的行人属性识别网络和行人属性识别技术。所述行人属性识别网络包括使用行人原始全身图像作为输入提取行人全身图像特征的第一卷积神经网络；使用行人全身图像特征作为第一输入，上一时刻关注的属性组别的注意力热图作为第二输入，输出当前时刻所关注的属性组别的注意力热图和经过局部高亮的行人特征的循环神经网络；使用经过局部高亮的行人特征作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。本发明利用卷积循环神经网络注意力模型挖掘行人属性区域空间位置的关联关系，更加准确地高亮图像中属性对应区域的位置，实现了更高的行人属性识别精度。

技术领域

本发明属于神经网络和图像识别技术领域，尤其涉及一种基于循环神经网络注意力模型的行人属性识别网络及技术。

背景技术

行人属性识别技术能够帮助人们自动完成从海量的图像和视频数据中搜寻特定人员的任务。但是由于监控视频的图像质量低、有标注的行人属性数据集较小、难以获得等因素的影响，极大地增加了从监控视频图像中进行行人属性识别的难度。现有的基于深度神经网络的行人属性识别方法分为卷积神经网络(CNN)方法和卷积神经网络与循环神经网络结合方法(CNN-RNN)两大类。现有的CNN方法如DeepMAR方法尝试孤立地从整张图像的特征中识别每一种行人的属性，虽然这种方法取得了一定的效果，但是它忽视了行人属性的空间局部性和属性之间的关联关系，难以得到更高的识别精度。现有的CNN-RNN方法如JRL方法试图使用循环神经网络逐步挖掘行人属性之间的语义关联关系，如穿裙子的一般是女人等，在识别精度上较纯CNN方法有一定的提高。然而，这种方法只考虑了行人属性间的语义联系却忽视了属性的空间局部性。行人的很多属性的焦点集中在图像的某一个区域里，例如是否戴眼镜和是否留长发都只决定于行人头部区域的视觉特征，其他区域用处不大。如果将这种空间的局部性考虑到行人属性识别模型的构建过程当中去，在识别头部属性的时候高亮头部区域，忽视背景噪声的干扰，就可以大大提高行人属性识别精度。

发明内容

为了解决上述技术问题，本发明提供一种基于循环神经网络注意力模型的行人属性识别网络，包括：

使用行人原始全身图像作为输入提取行人全身图像特征N(x)的第一卷积神经网络；

使用行人全身图像特征N(x)作为第一输入，上一时刻关注的属性组别的注意力热图A_t-1(x)作为第二输入，输出当前时刻所关注的属性组别的注意力热图A_t(x)和经过局部高亮的行人特征H_t(x)的循环神经网络；

使用经过局部高亮的行人特征H_t(x)作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。

进一步的，所述经过局部高亮的行人特征H_t(x)是使用上一时刻关注的属性组别的注意力热图A_t-1(x)作用在行人全身图像特征N(x)上得到的，计算公式如下：

进一步的，对所述属性预测概率输出使用批正则化操作，以对抗属性正负例样本不平衡带来的识别误差。

进一步的，所述行人属性识别网络包括：

对于同一张行人原始全身图像的每一个不同的属性组别，循环神经网络的记忆单元状态由所有已经预测过的属性组别的局部高亮过的行人特征共同决定；

对于不同的预测时刻第一卷积神经网络共享权值；

对于不同的预测时刻第二卷积神经网络共享权值。

进一步的，所述行人属性识别网络使用加权Sigmoid交叉熵损失函数进行训练，所述损失函数如下：

w_f＝exp(p_j)