[发明专利]模型的训练方法、图像描述生成方法和装置、设备、介质

权利要求书

1.一种模型的训练方法，其特征在于，所述方法包括：

获取样本图像；

对所述样本图像进行目标检测，得到样本图像类别标签；

通过预设的参考状态因子对所述样本图像类别标签进行编码处理，得到目标类别标签序列；

遍历预设的图像描述语料库，对所述目标类别标签序列进行解码处理，得到伪描述文本；

根据所述样本图像和所述伪描述文本构建样本特征对；

根据所述样本特征对对预设的神经网络模型进行训练，得到图像描述生成模型，所述图像描述生成模型用于生成目标图像描述文本。

2.根据权利要求1所述的训练方法，其特征在于，所述对所述样本图像进行目标检测，得到样本图像类别标签的步骤，包括：

将所述样本图像输入至预设的目标检测模型中，其中，所述目标检测模型包括卷积层、RPN层、RoI pooling层和全连接层；

通过所述卷积层对所述样本图像进行特征提取，得到样本特征图；

通过所述RPN层和预设的坐标信息对所述样本特征图进行目标检测，得到初始检测框；

通过所述RoI pooling层的预设缩放参数对所述样本特征图和所述初始检测框进行特征融合处理，得到样本融合特征图；

通过所述全连接层的预测函数和预设图像类别标签对所述样本融合特征图进行分类概率计算，得到分类概率值，并根据所述分类概率值对所述预设图像类别标签进行筛选处理，得到所述样本图像类别标签。

3.根据权利要求1所述的训练方法，其特征在于，所述遍历预设的图像描述语料库，对所述目标类别标签序列进行解码处理，得到伪描述文本的步骤，包括：

通过预设的预测函数对所述目标类别标签序列进行分布概率计算，得到分布概率值；

遍历所述图像描述语料库，根据所述分布概率值对所述目标类别标签序列进行解码处理，得到所述伪描述文本。

4.根据权利要求1所述的训练方法，其特征在于，所述根据所述样本特征对对预设的神经网络模型进行训练，得到图像描述生成模型的步骤，包括：

将所述样本特征对输入至所述神经网络模型中，所述神经网络模型包括生成网络和判别网络；

通过所述生成网络对所述样本特征对进行编码处理，得到目标特征数据；并通过所述判别网络对所述目标特征数据进行损失计算，得到特征损失值；

根据所述特征损失值对所述神经网络模型的损失函数进行优化，以更新所述神经网络模型，得到所述图像描述生成模型。

5.根据权利要求4所述的训练方法，其特征在于，所述样本特征对包括第一特征对和第二特征对，所述目标特征数据包括第一文本特征和第一图像特征，所述通过所述生成网络对所述样本特征对进行编码处理，得到目标特征数据；并通过所述判别网络对所述目标特征数据进行损失计算，得到特征损失值的步骤，包括：

对所述第一特征对中的样本图像进行编码处理，得到第一图像特征，并对所述第二特征对中的伪描述文本进行编码处理，得到第一文本特征；

通过所述生成网络对所述第一图像特征进行描述生成，得到第一描述文本；并通过所述生成网络对所述第一文本特征进行描述生成，得到第二描述文本；

通过所述判别网络对所述第一描述文本进行文本解析，得到第二图像特征，并对所述第二图像特征和所述第一图像特征进行相似度计算，得到第一损失值；

通过所述判别网络对所述第二描述文本和所述伪描述文本进行相似度计算，得到第二损失值；

根据预设的权重参数对所述第一损失值和所述第二损失值进行加权计算，得到所述特征损失值。

6.一种图像描述生成方法，其特征在于，用于生成目标图像描述文本，所述方法包括：

获取待处理的目标图像；

将所述目标图像输入至图像描述生成模型进行图像描述生成处理，得到目标图像描述文本，其中，所述图像描述生成模型根据如权利要求1至5任一项所述的训练方法训练得到。