[发明专利]融合语义和图像特征的智能训练方法、装置、设备及介质

权利要求书

1.一种融合语义和图像特征的智能训练方法，其特征在于，包括：

确定当前训练使用的软标签适配信息；所述软标签适配信息预先记录有类别硬标签信息所对应的融合有该类别硬标签所蕴含的语义内容信息以及类别硬标签信息对应的独热编码标签矩阵信息的类别软标签信息；

将训练样本的类别硬标签信息作为索引，通过查询软标签适配信息确定训练样本的类别硬标签信息对应的类别软标签信息；

将训练样本送入图像分类模型中卷积神经网络处理，得到训练样本对应的各类别预测概率；

依据训练样本对应的类别软标签信息与对应的各类别预测概率，对所述卷积神经网络的参数进行调整更新，得到新的图像分类模型；

其中，确定当前训练使用的软标签适配信息，包括：提取所述图像分类模型中卷积神经网络的全连接层的权值参数，得到权值矩阵；将所述全连接层中偏置项在行数维持不变的情况下沿矩阵列方向拼接至权值矩阵末尾，得到权值与偏置项对应的拼接矩阵；对所述权值与偏置项对应的拼接矩阵进行转换，得到第二临时软标签矩阵；将第二临时软标签矩阵与初始化生成的软标签适配信息或者上一次迭代更新生成的软标签适配信息进行融合，得到当前训练使用的软标签适配信息。

2.根据权利要求1所述的方法，其特征在于，所述类别硬标签信息包括类别名称信息、类别描述文本信息和/或类别属性信息。

3.根据权利要求1所述的方法，其特征在于，确定当前训练使用的软标签适配信息，包括：

将训练集内出现的单词构成的类别硬标签信息作为输入，通过至少一种自然语言词向量模型查找类别硬标签在对应自然语言词向量模型下的词向量矩阵；

对所述类别硬标签信息在至少一种自然语言词向量模型下的词向量矩阵分别进行转换，得到在至少一种自然语言词向量模型下的第一临时软标签矩阵；

将在至少一种自然语言词向量模型下的第一临时软标签矩阵与类别硬标签信息对应的独热编码标签矩阵进行融合，得到当前训练使用的软标签适配信息。

4.根据权利要求1所述的方法，其特征在于，依据训练样本对应的类别软标签信息与对应的各类别预测概率，对所述卷积神经网络的参数进行调整更新，包括：

依据训练样本对应的类别软标签与对应的各类别预测概率，通过进行交叉熵计算得到所述图像分类模型的损失函数值；

依据所述图像分类模型的损失函数值，利用梯度下降法对所述卷积神经网络的卷积层与全连接层的参数进行调整更新。

5.根据权利要求4所述的方法，其特征在于，所述图像分类模型的损失函数值计算公式包括以下：

其中，表示第i个训练样本的第j个类别的预测概率，表示第i个训练样本的第j个类别的类别软标签取值，p表示训练样本的个数，T表示训练样本的类别数。

6.一种融合语义和图像特征的智能训练装置，其特征在于，包括：

软标签生成模块，用于确定当前训练使用的软标签适配信息；其中所述软标签适配信息预先记录有类别硬标签信息所对应的融合有该类别硬标签所蕴含的语义内容信息以及类别硬标签信息对应的独热编码标签矩阵信息的类别软标签信息；以及，将训练样本的类别硬标签信息作为索引，通过查询软标签适配信息确定训练样本的类别硬标签信息对应的类别软标签信息；

分类预测模块，用于将训练样本送入图像分类模型中卷积神经网络处理，得到训练样本对应的各类别预测概率；

模型参数更新模块，用于依据训练样本对应的类别软标签信息与对应的各类别预测概率，对所述卷积神经网络的参数进行调整更新，得到新的图像分类模型；

其中，确定当前训练使用的软标签适配信息，包括：提取所述图像分类模型中卷积神经网络的全连接层的权值参数，得到权值矩阵；将所述全连接层中偏置项在行数维持不变的情况下沿矩阵列方向拼接至权值矩阵末尾，得到权值与偏置项对应的拼接矩阵；对所述权值与偏置项对应的拼接矩阵进行转换，得到第二临时软标签矩阵；将第二临时软标签矩阵与初始化生成的软标签适配信息或者上一次迭代更新生成的软标签适配信息进行融合，得到当前训练使用的软标签适配信息。