[发明专利]一种基于文本特征融合的细粒度车辆识别系统及方法

权利要求书

1.一种基于文本特征融合的细粒度车辆识别系统，包括：特征提取模块、分类层、文本表示网络、相似度计算模块、融合标签计算模块、散度损失计算模块，其特征在于特征提取模块分别与分类层连接，相似度计算模块分别与特征提取模块、文本表示网络、融合标签计算模块连接，散度损失计算模块分别与分类层、融合标签计算模块连接；

所述特征提取模块，用于提取图像的特征向量；

所述分类层，通过图像的特征向量，得到预测标签分布；

所述文本表示网络，用于获取图像标签的语义特征；

所述相似度计算模块，通过图像的特征向量与图像标签的语义特征，得到强化标签分布；所述相似度计算模块，包括全连接神经网络和softmax层，将图像特征向量，与作为图像标签语义特征的标签词向量相乘，输入全连接神经网络和softmax层，得到强化标签分布；

所述融合标签计算模块，将强化标签分布与原标签向量进行加权融合，得到融合标签分布；

所述散度损失计算模块，将预测标签分布与融合标签分布的相似度作为损失，指导整个系统的训练。

2.根据权利要求1所述的一种基于文本特征融合的细粒度车辆识别系统，其特征在于所述特征提取模块为深度卷积网络，提取图像特征，得到图像特征向量。

3.根据权利要求2所述的一种基于文本特征融合的细粒度车辆识别系统，其特征在于所述分类层，包括全连接层和softmax层，将所述图像特征向量输入全连接层，再通过softmax层，得到预测标签分布。

4.根据权利要求1所述的一种基于文本特征融合的细粒度车辆识别系统，其特征在于所述文本表示网络，获取数据集各子类标签，得到各标签的词向量。

5.根据权利要求1所述的一种基于文本特征融合的细粒度车辆识别系统，其特征在于所述融合标签计算模块，将强化标签分布与原标签向量进行加权融合，得到融合标签分布：

其中，超参数取值范围为，用于控制与的权重。

6.根据权利要求5所述的一种基于文本特征融合的细粒度车辆识别系统，其特征在于所述超参数的取值为0.3。

7.根据权利要求1所述的一种基于文本特征融合的细粒度车辆识别系统，其特征在于所述散度损失计算模块，计算预测标签分布与融合标签分布的JS散度，以度量所述预测标签分布与所述融合标签分布之间的相似度，并作为损失函数指导整个系统的训练。

8.一种基于文本特征融合的细粒度车辆识别方法，其特征在于包括如下步骤：

步骤S1，构建细粒度车辆图像分类数据集，并划分训练集和测试集，其中包括多种车辆类别；

步骤S2，将训练图像进行特征提取，得到图像的特征向量；

步骤S3，对图像特征向量进行分类，得到预测标签分布；

步骤S4，将数据集各子类标签输入预先训练好的文本表示网络，获取图像标签的词向量；

步骤S5，融合标签计算，包括如下步骤：

步骤S51，通过图像的特征向量与图像标签的词向量，得到强化标签分布；相似度计算模块，包括全连接神经网络和softmax层，将图像特征向量与作为图像标签语义特征的标签词向量相乘，计算两者之间的相似度向量，输入全连接神经网络和softmax层，得到强化标签分布；

步骤S52，将强化标签分布与原标签向量进行加权融合，得到融合标签分布；

步骤S6，将预测标签分布与融合标签分布的相似度作为损失，指导整个系统的训练；

步骤S7，推理阶段，将待测图像依次进行特征提取与分类层，根据预测的标签分布确定图像类别。

9.根据权利要求8所述的一种基于文本特征融合的细粒度车辆识别方法，其特征在于通过图像类别的准确率的上升幅度，推测出该类别对应的数据集中，存在噪声标签的多少，从而对该数据集进行修正。