[发明专利]模型的训练方法、图像描述生成方法和装置、设备、介质

说明书

本申请实施例提供了一种模型的训练方法、图像描述生成方法和装置、设备、介质，属于人工智能技术领域。该方法包括：获取样本图像；对样本图像进行目标检测，得到样本图像类别标签；通过预设的参考状态因子对样本图像类别标签进行编码处理，得到目标类别标签序列；遍历预设的图像描述语料库，对目标类别标签序列进行解码处理，得到伪描述文本；根据样本图像和伪描述文本构建样本特征对；根据样本特征对对预设的神经网络模型进行训练，得到图像描述生成模型，图像描述生成模型用于生成目标图像描述文本。本申请实施例能够提高模型的训练效果。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型的训练方法、图像描述生成方法和装置、设备、介质。

背景技术

目前，大多数的图像描述的生成常常采用监督学习的方法实现，即通过监督学习模型对图像的基本特征进行提取，根据基本特征生成对应的描述句子，从而得到图像描述文本，监督学习模型的训练常常需要大量的训练语料，包括训练图像及对应的描述句子，而获取大量的高质量训练语料的难度较大，影响模型的训练效果。因此，如何改善模型的训练效果，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种模型的训练方法、图像描述生成方法和装置、设备、介质，旨在提高模型的训练效果。

为实现上述目的，本申请实施例的第一方面提出了一种模型的训练方法，所述方法包括：

获取样本图像；

对所述样本图像进行目标检测，得到样本图像类别标签；

通过预设的参考状态因子对所述样本图像类别标签进行编码处理，得到目标类别标签序列；

遍历预设的图像描述语料库，对所述目标类别标签序列进行解码处理，得到伪描述文本；

根据所述样本图像和所述伪描述文本构建样本特征对；

根据所述样本特征对对预设的神经网络模型进行训练，得到图像描述生成模型，所述图像描述生成模型用于生成目标图像描述文本。

在一些实施例，所述对所述样本图像进行目标检测，得到样本图像类别标签的步骤，包括：

将所述样本图像输入至预设的目标检测模型中，其中，所述目标检测模型包括卷积层、RPN层、RoI pooling层和全连接层；

通过所述卷积层对所述样本图像进行特征提取，得到样本特征图；

通过所述RPN层和预设的坐标信息对所述样本特征图进行目标检测，得到初始检测框；

通过所述RoI pooling层的预设缩放参数对所述样本特征图和所述初始检测框进行特征融合处理，得到样本融合特征图；

通过所述全连接层的预测函数和预设图像类别标签对所述样本融合特征图进行分类概率计算，得到分类概率值，并根据所述分类概率值对所述预设图像类别标签进行筛选处理，得到所述样本图像类别标签。

在一些实施例，所述遍历预设的图像描述语料库，对所述目标类别标签序列进行解码处理，得到伪描述文本的步骤，包括：

通过预设的预测函数对所述目标类别标签序列进行分布概率计算，得到分布概率值；

遍历所述图像描述语料库，根据所述分布概率值对所述目标类别标签序列进行解码处理，得到所述伪描述文本。

在一些实施例，所述根据所述样本特征对对预设的神经网络模型进行训练，得到图像描述生成模型的步骤，包括：

将所述样本特征对输入至所述神经网络模型中，所述神经网络模型包括生成网络和判别网络；