[发明专利]基于混合注意力机制的群组行人重识别系统及终端

权利要求书

1.一种基于混合注意力机制的群组行人重识别系统，其特征在于，包括：

骨干模型模块：所述骨干模型模块基于深度卷积神经网络，形成群组行人重识别任务的骨干模型特征提取网络P，将整个群组行人重识别数据集上的图像对得到的骨干模型特征提取网络P进行应用，对群组行人的每一个图像s，均经过骨干模型特征提取网络P生成特征向量E；

混合注意力模型模块：所述混合注意力模型模块在所述骨干模型模块的骨干模型特征提取网络P的基础上，加入混合注意力机制网络H，对已初步提取的特征进行进一步提取；其中，混合注意力机制网络H包括通道注意力模块C和空间注意力模块S，所述通道注意力模块C和空间注意力模块S分别作用于特征向量E不同维度上的特征；

特征提取模块：所述特征提取模块通过所述混合注意力模型模块的混合注意力机制网络H捕获特征向量E的全局依赖，每一个输入的特征向量E分别经过混合注意力机制网络H中的通道注意力模块C和空间注意力模块S处理后得到通道注意力参数w₁和空间注意力参数w₂；应用注意力参数w₁和w₂，得到特征向量E的整体注意力权重w；将特征向量E和注意力权重w相乘，得到更多关注群组行人图像的关键区域的图像特征F；

特征拟合模块：所述特征拟合模块对所述特征提取模块已提取的图像特征F与检测目标的特征进行匹配；其中：在距离度量阶段采用最小二乘残差距离，最小二乘残差距离中的检测目标和匹配对象经骨干模型特征提取网络P和混合注意力机制网络H提取后的特征分别为Y和X，通过学习多项式拟合函数来近似接近真实检测目标的特征Y；其中，所述多项式拟合函数表示为式中A为匹配对象的特征X扩展为矩阵的形式，W为多项式拟合函数的系数；在多项式拟合函数中加入正则化项；使用最小二乘法对加入正则化项的多项式拟合函数进行求解，找到最佳的多项式拟合函数的系数W；

特征评估模块：所述特征评估模块将多项式拟合函数的拟合结果与经骨干模型特征提取网络P提取的特征Y的差值构成的函数作为距离对经过混合注意力机制网络H提取的特征X进行比对和评估。

2.根据权利要求1所述的基于混合注意力机制的群组行人重识别系统，其特征是：所述骨干模型模块中，骨干模型特征提取网络P主要由深度卷积神经网络组成，输出群组行人的每一个图像s的初步特征。

3.根据权利要求1所述的基于混合注意力机制的群组行人重识别系统，其特征是：所述特征提取模块中：

对于通道注意力模块C，首先对特征向量进行全局池化操作；将特征向量进行全局池化后，特征就变成和通道数量一样的长度，同时表示了不同特征通道的注意力权重，然后将全局池化得到的特征向量分别送入两个全连接层；

对于空间注意力模块S，首先在通道维度上对特征向量进行池化，并通过全连接层用于学习网络在长宽两个维度上的注意力权重；最后将空间注意力和通道注意力的结果作为权重作用于原特征，得到更有分辨力的特征。

4.根据权利要求1所述的基于混合注意力机制的群组行人重识别系统，其特征是：所述特征提取模块中，通道注意力参数w₁存在一个维度，空间注意力参数w₂存在两个不同维度；将注意力参数w₁和w₂进行合并后获得在h，w，c三个维度上存在注意力权重的参数w；h，w，c分别表示注意力模块C的输入向量在三个维度上的长度。

5.根据权利要求1所述的基于混合注意力机制的群组行人重识别系统，其特征是：所述特征提取模块中，特征F为加入混合注意力机制后得到的群组图像的特征，通过未加入混合注意力机制的特征向量E与体注意力权重w的相乘得到。

6.根据权利要求1所述的基于混合注意力机制的群组行人重识别系统，其特征是：所述特征学习模块中，加入正则化项之后的多项式拟合函数为：