[发明专利]一种基于图像的辅助写作方法、装置、介质及设备

说明书

本申请涉及人工智能领域，提供一种基于图像的辅助写作方法，包括：获取目标图像的图像信息；将图像信息输入多标签分类模型中，得到图像的第一属性的关键词标签；将图像信息输入单标签分类模型中，得到图像的第二属性的候选关键词标签；第二属性与第一属性为目标图像中不同信息的特征；将第一属性的关键词标签与第二属性的候选关键词标签进行映射，得到图像关键词标签信息；将图像关键词标签信息输入至诗歌生成模型中，基于模型记忆矩阵生成诗词内容。此外，本申请还涉及区块链领域，多标签分类模型、单标签模型和诗歌生成模型可存储于区块链中。本申请可以增强生成的诗句与所给图像信息以及目标图像的关联性。

技术领域

本发明涉及软件技术以及古诗词生成领域，尤其是涉及一种基于图像的辅助写作的方法、装置、计算机介质及设备。

背景技术

诗歌是一种语言简洁、表达凝练的文本形式，同时还具有一定的结构和音韵要求，在很多场景会用到古诗词生成工具，例如，老师教学中，老师会选择与某一场景类似的诗词信息进行教学，需要借助相关场景的图像信息从而在诗词生成工具中生成与该图像关联的诗句信息；在公园里游客会根据某一景物图需要借助诗词生成工具中生成与游客所需图像相关联的诗句信息。

但是古诗词生成工具基于图像内容生成诗歌的任务比普通文本更加困难，会出现生成的古诗词所表达的含义偏离图像内容，而且也无法保证诗句上下文语意连贯性，导致古诗词生成工具生成的诗词与图像之间关联性不强且生成的诗句上下文语义连贯性较弱。

发明内容

为了解决古诗词生成时，出现生成的古诗词中与图像内容关联性不强，且诗句上下文语意连贯性较弱的问题，本申请提出了一种基于图像的辅助写作的方法，包括：

获取目标图像的图像信息；将所述图像信息输入多标签分类模型中，得到所述图像的第一属性的关键词标签；将所述图像信息输入单标签分类模型中，得到所述图像的第二属性的候选关键词标签；所述第二属性与所述第一属性为所述目标图像中不同信息的特征；将所述第一属性的关键词标签与所述第二属性的候选关键词标签进行映射，得到图像关键词标签信息；将所述图像关键词标签信息输入至诗歌生成模型中，基于模型记忆矩阵生成诗词内容，所述模型记忆矩阵包括关键词记忆矩阵、当前记忆矩阵及历史记忆矩阵；所述关键词记忆矩阵用于存储所述图像关键词标签信息，所述当前记忆矩阵和所述历史记忆矩阵用于存储已生成的诗句的信息。

本申请的一种实施例中，所述模型记忆矩阵存储于所述诗歌生成模型中，所述关键词记忆矩阵用于存储所述图像关键词标签信息，所述当前记忆矩阵和所述历史记忆矩阵用于存储已生成的诗句的信息，包括：将所述图像关键词标签嵌入所述模型记忆矩阵的关键词记忆矩阵中作为关键词标签信息；从所述关键词记忆矩阵中通过记忆读取函数读取与生成第i行诗句信息关联的关键词标签信息；将第i-1行诗句中字符信息对应的隐藏状态信息填充到所述模型记忆矩阵的当前记忆矩阵中作为当前记忆信息；将第i-2行诗句中字符信息对应的隐藏状态信息通过记忆写入函数将计算后的信息填充到所述模型记忆矩阵的历史记忆矩阵中；读取所述关键词记忆矩阵以及所述第i行诗句的当前记忆矩阵以及历史记忆矩阵信息通过诗歌生成模型生成所述第i行诗句。

本申请的一种实施例中，还包括：所述多标签分类模型是基于多标签数据集ML-Images进行多标签图像分类任务的模型训练得到的；所述单标签模型是基于ImageNet-ILSVRC2012数据集在所述多标签分类模型上进行单标签模型的微调训练得到的。