[发明专利]古诗词生成方法、装置及存储介质

说明书

本公开涉及一种古诗词生成方法、装置及存储介质，解决的相关技术中图片古诗词转换时无法准确的捕捉图片中的信息，转换后的诗句过于死板，缺乏灵活性以及网络的构建成本过高的问题。本方法包括：取图片；提取所述图片中的目标对象的特征向量；将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。

技术领域

本公开涉及机器学习技术领域，尤其涉及一种古诗词生成方法、装置及存储介质。

背景技术

在机器学习技术领域中，机器自动生成汉语古诗和图像描述，存在对主题词的选择要求较高，对很多普通使用者造成障碍，生成的句子之间缺乏连贯性，生成的目标诗句也过于死板，缺乏灵活性等问题。

相关技术中采用利用深度卷积神经网络与长短期记忆网络建立多模态循环神经网络，使计算机可以自动将图片转化成能够描述图片的汉语古诗。

发明内容

为克服相关技术中存在的问题，本公开提供一种古诗词生成方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种古诗词生成方法，包括：

获取图片；

提取所述图片中的目标对象的特征向量；

将所述特征向量输入到文本生成模型中，得到所述文本生成模型输出的古诗词，其中，所述文本生成模型经过无监督文本语料预训练，并通过图片诗词样本训练得到的，所述图片诗词样本包括图片样本以及作为所述图片样本的标签的古诗词。

可选的，所述文本生成模型的训练包括：

获取所述无监督文本语料和图片诗词样本，所述无监督文本语料中包括古诗词；

通过所述无监督文本语料对文本生成模型进行无监督的预训练；

在所述预训练完成后，通过所述图片诗词样本对所述文本生成模型进行训练，直到所述文本生成模型收敛，得到训练完成的文本生成模型。

可选的，所述图片诗词样本包括训练集以及验证集，所述通过所述图片诗词样本对所述文本生成模型进行微调，直到文本生成模型收敛，包括：

通过所述训练集对所述文本生成模型训练预设次数，并通过所述验证集获取每一次训练后的文本生成模型的交叉熵；

将最小的所述交叉熵对应的文本生成模型作为所述训练完成的文本生成模型。

可选的，所述文本生成模型为GPT2模型，所述GPT2模型中的解码器为采用自注意力机制的解码器。

可选的，所述提取所述图片中的目标对象的特征向量，包括：

将所述图片输入到检测模型中，得到所述检测模型输出的所述图片中的目标对象的特征向量，其中，所述检测模型用于对所述图片中的目标对象进行检测，并提取所述目标对象的特征向量。

可选的，所述检测模型为Faster Mask-RCNN模型，所述Faster Mask-RCNN模型提取所述目标对象的特征向量包括：根据均值池化的方式对多个所述目标对象提取特征向量。

根据本公开实施例的第二方面，提供一种古诗词生成装置，包括：

获取模块，被配置成获取图片；

执行模块，被配置成提取所述图片中的目标对象的特征向量；