[发明专利]一种基于文本特征融合的细粒度车辆识别系统及方法

说明书

本发明公开了一种基于文本特征融合的细粒度车辆识别系统及方法，系统包括：特征提取模块、分类层、文本表示网络、相似度计算模块、融合标签计算模块、散度损失计算模块；方法包括：步骤S1，构建细粒度车辆图像分类数据集；步骤S2，将训练图像进行特征提取；步骤S3，对图像特征向量进行分类；步骤S4，将数据集各子类标签输入预先训练好的文本表示网络；步骤S5，通过图像特征向量与图像标签的词向量；将得到的强化标签分布与原标签向量进行加权融合；步骤S6，将预测标签分布与加权融合的标签分布的相似度作为损失，指导整个系统的训练；步骤S7，推理阶段，将待测图像进行特征提取与分类层，根据预测的标签分布确定图像类别。

技术领域

本发明涉及计算机视觉识别技术领域，尤其是涉及一种基于文本特征融合的细粒度车辆识别系统及方法。

背景技术

细粒度图像分类无论在工业界还是学术界都有着广泛的研究需求与应用场景，与之相关的研究课题主要包括识别不同种类的鸟、狗、花、车、飞机等。在实际生活中，识别不同的子类别存在着巨大的应用需求。细粒度图像分析任务相对通用图像任务的区别和难点在于其图像所属类别的粒度更为精细，其子类间差异细微、子类内部差异大。因此，不止对计算机，对普通人来说，细粒度图像任务的难度和挑战无疑也十分巨大。

随着深度学习的不断发展，自然语言处理技术迎来了突破。通过训练语言模型得到的词向量，可以较好地反应出词与词之间的关系。比如训练出的同义词的词向量非常接近，而反义词的词向量则互为相反向量。因此标签的词向量可以在一定程度上反应出标签之间的关系。目前较为流行的词向量有Word2Vec、BERT等。

相对熵又称KL散度（Kullback-Leibler divergence），对于同一个随机变量，有两个单独的概率分布P和Q，通过KL散度可以衡量这两个分布的差异。Q的分布越接近P（Q分布越拟合P），则散度值越小，即损失值越小，但KL散度是不对称的。JS散度是基于KL散度的变体，度量了两个概率分布的相似度，解决了KL散度非对称的问题，通常，JS散度是对称的，其取值是0到1之间。

考虑到细粒度图像存在大量相近类别，部分细微差异即使人类也难以区分，在标注过程中容易引入噪声标签。在分类过程中，采用独热编码作为原标签表现地过于武断，忽略了标签之间的相关性，使得噪声标签对网络训练起到较大的负面作用，从而影响网络收敛。

发明内容

为解决现有技术的不足，本发明通过捕捉样本图像特征与各标签词向量之间的相似度，模拟出一个更加可靠的标签分布，在训练过程中取代独热编码的原标签，有效地提升了细粒度图像分类的精度，本发明采用如下的技术方案：

一种基于文本特征融合的细粒度车辆识别系统，包括：特征提取模块、分类层、文本表示网络、相似度计算模块、融合标签计算模块、散度损失计算模块，特征提取模块分别与分类层连接，相似度计算模块分别与特征提取模块、文本表示网络、融合标签计算模块连接，散度损失计算模块分别与分类层、融合标签计算模块连接；

所述特征提取模块，用于提取图像的特征向量 ；

所述分类层，通过图像的特征向量，得到预测标签分布；

所述文本表示网络，用于获取图像标签的语义特征；

所述相似度计算模块，通过图像的特征向量与图像标签的语义特征，得到强化标签分布；

所述融合标签计算模块，将强化标签分布与独热编码的原标签向量进行加权融合，得到融合标签分布；

所述散度损失计算模块，将预测标签分布与融合标签分布的相似度作为损失，指导整个系统的训练。利用标签先验语义特征，通过计算相似度，模拟出一个更加真实可靠的标签分布作为融合标签，在训练过程中取代独热编码的原标签，对原标签进行增强，从而减少噪声标签对网络训练的影响，提高细粒度图像分类的性能