[发明专利]基于关键词的图像描述方法和装置、设备、介质

权利要求书

1.一种基于关键词的图像描述方法，其特征在于，包括：

对图像进行关键词提取，得到至少两个对应所述图像的关键词；每个所述关键词用于在一个方面对所述图像进行描述，所述图像包括至少两个方面的语义信息；

利用编解码网络，基于所述图像和所述至少两个关键词获得对应所述图像的至少两条描述语句；

所述对图像进行关键词提取，得到至少两个对应所述图像的关键词，包括：

利用关键词提取网络，对图像进行关键词判断，得到至少两个对应所述图像的关键词；所述关键词提取网络经过第二样本图像训练获得，所述第二样本图像标注有第二标注描述语句；

所述关键词提取网络的训练方法，包括：

基于第二样本图像获得所述第二样本图像对应的至少两个关键词；

将所述第二样本图像输入所述关键词提取网络，基于关键词集合获得对应所述第二样本图像的至少两个预测关键词；所述关键词提取网络为多标签分类网络，所述关键词集合包括至少两个关键词；

以所述第二样本图像对应的至少两个关键词为监督信息，结合所述预测关键词训练所述关键词提取网络。

2.根据权利要求1所述的方法，其特征在于，所述基于第二样本图像获得对应所述第二样本图像的至少两个关键词，包括：

利用关键词提取算法，从所述第二样本图像对应的第二标注描述语句中获得至少两个关键词，每个所述第二标注描述语句对应至少一个关键词。

3.根据权利要求1所述的方法，其特征在于，将所述第二样本图像输入所述关键词提取网络，基于关键词集合获得对应所述第二样本图像的至少两个预测关键词，包括：

将所述第二样本图像输入所述关键词提取网络，得到概率向量；所述概率向量包括至少一个概率值，每个所述概率值与所述关键词集合中的一个关键词相对应；

从所述概率向量中获得至少一个大于或等于预设值的概率值，基于所述概率值从所述关键词集合中得到对应所述第二样本图像的至少两个预测关键词。

4.根据权利要求1-3任一所述的方法，其特征在于，所述编解码网络基于第一样本图像训练获得，所述第一样本图像标注有第一标注描述语句，所述第一标注描述语句对应所述第一样本图像的关键词。

5.根据权利要求4所述的方法，其特征在于，所述编解码网络的训练方法，包括：

基于第一卷积神经网络和长短期记忆模型构建初始编解码网络；

利用映射网络，将第一样本图像及其对应的关键词映射到嵌入空间，得到所述第一样本图像对应的图像特征和所述关键词对应的关键词特征；所述映射网络经过第三样本图像训练获得，所述第三样本图像标注有第三标注描述语句及第三标注关键词；

基于所述图像特征和所述关键词特征获得输入特征，将所述输入特征输入所述长短期记忆模型，得到对应所述第一样本图像的预测描述语句；

以所述第一样本图像对应的第一标注描述语句为监督信息，结合所述预测描述语句训练所述编解码网络。

6.根据权利要求5所述的方法，其特征在于，利用映射网络，将第一样本图像及其对应的关键词映射到嵌入空间之前，还包括：

利用第二卷积神经网络，对所述第一样本图像进行处理，获得所述第一样本图像对应的第一图像特征；

利用自然语言处理网络，对所述第一样本图像对应的关键词进行处理，得到所述关键词对应的第一关键词特征；

利用映射网络，将第一样本图像及其对应的关键词映射到嵌入空间，包括：

利用映射网络，分别对所述图像特征和所述关键词特征执行映射操作，得到对应所述图像特征和所述关键词特征的映射特征；所述映射特征用于同时表征图像和关键词的特征信息。