[发明专利]图片描述的生成方法、装置和计算机可读存储介质

权利要求书

1.一种图片描述的生成方法，包括：

通过多类分类模型，提取图片流中各目标图片的第一特征；

通过多实例分类模型或者多标签分类模型，提取所述各目标图片的第二特征；

将所述第一特征和所述第二特征输入训练好的生成对抗网络GAN模型的生成器，确定词表中各词的选词概率分布；

选取所述选词概率分布中概率最大的词，生成所述各目标图片的句子描述，所述各目标图片的句子描述构成所述图片流的段落描述。

2.根据权利要求1所述的生成方法，其中，

所述GAN模型的生成器包括第一循环神经网络RNN模型和第二RNN模型；

所述确定词表中各词的选词概率分布包括：

将所述第一特征输入所述第一RNN模型，生成所述各目标图片的主题向量；

将所述第二特征和所述主题向量输入所述第二RNN模型，确定词表中各词的选词概率分布。

3.根据权利要求1所述的生成方法，其中，

所述GAN模型的判别器包括第一分类器和第二分类器，所述第一分类器用于判断所述句子描述是否符合相应的目标图片的实际内容，所述第二分类器用于判断所述段落描述是否符合预先标注的段落样本的语言风格。

4.根据权利要求1所述的生成方法，还包括：

以所述GAN模型的生成器生成的句子描述和段落描述为负样本，以预先标注的句子样本和段落样本为正样本，对所述GAN模型的判别器进行训练。

5.根据权利要求1-4任一项所述的生成方法，还包括：

根据所述句子描述中的各词和所述选词概率分布，对所述词表中的词进行采样，生成与所述各词相应的各训练样本句子；

将所述各训练样本句子输入所述GAN模型的判别器，确定所述各训练样本句子的正类别概率；

根据所述各训练样本句子的正类别概率，确定与所述各训练样本句子相应的各词的第一权值；

根据所述各词的第一权值，更新所述GAN模型的生成器。

6.根据权利要求5所述的生成方法，其中，所述生成与所述各词相应的各训练样本句子包括：

选取所述句子描述的一个词作为目标词，保留所述句子描述中排在所述目标词前面的各词作为所述训练样本句子中相应位置的词；

将所述目标词输入所述GAN模型的生成器，确定所述词表中各词的选词概率分布；

根据所述选词概率分布，对所述词表中的各词进行采样，以确定所述训练样本句子中排在所述目标词后面的各词。

7.根据权利要求5所述的生成方法，还包括：

根据所述各训练样本句子，生成与所述各词相应的训练样本段落；

将所述训练样本段落输入所述GAN模型的判别器，确定所述各训练样本段落的正类别概率；

根据所述各训练样本段落的正类别概率，确定与所述各训练样本段落相应的各词的第二权值；

根据所述第二权值，更新所述GAN模型的生成器。

8.根据权利要求7所述的生成方法，其中，所述生成与所述各词相应的各训练样本段落包括：

选取一个所述训练样本句子作为目标句子；

将所述目标句子作为所述训练样本段落中相应位置的句子；

将所述段落描述中排在所述目标句子前面和后面的各句子描述作为所述训练样本段落中相应位置的句子。

9.一种图片描述的生成装置，包括：

提取单元，用于通过多类分类模型，提取图片流中各目标图片的第一特征，通过多实例分类模型或者多标签分类模型，提取所述各目标图片的第二特征；

确定单元，用于将所述第一特征和所述第二特征输入训练好的生成对抗网络GAN模型的生成器，确定词表中各词的选词概率分布；

生成单元，用于选取所述选词概率分布中概率最大的词，生成所述各目标图片的句子描述，所述各目标图片的句子描述构成所述图片流的段落描述。