[发明专利]一种基于图像的辅助写作方法、装置、介质及设备

权利要求书

1.一种基于图像的辅助写作方法，其特征在于，包括：

获取目标图像的图像信息；

将所述图像信息输入多标签分类模型中，得到所述目标图像的第一属性的关键词标签；

将所述图像信息输入单标签分类模型中，得到所述目标图像的第二属性的候选关键词标签；所述第二属性与所述第一属性为所述目标图像中不同信息的特征；

将所述第一属性的关键词标签与所述第二属性的候选关键词标签进行映射，得到图像关键词标签信息；

将所述图像关键词标签信息输入至诗歌生成模型中，基于模型记忆矩阵生成诗词内容，所述模型记忆矩阵包括关键词记忆矩阵、当前记忆矩阵及历史记忆矩阵；所述关键词记忆矩阵用于存储所述图像关键词标签信息，所述当前记忆矩阵和所述历史记忆矩阵用于存储已生成的诗句信息；

将所述图像关键词标签嵌入所述模型记忆矩阵的关键词记忆矩阵中作为关键词标签信息；

从所述关键词记忆矩阵中通过记忆读取函数读取与生成第i行诗句信息关联的关键词标签信息；

将第i-1行诗句中字符信息对应的隐藏状态信息填充到所述模型记忆矩阵的当前记忆矩阵中作为当前记忆信息；

将第i-2行诗句中字符信息对应的隐藏状态信息通过记忆写入函数计算后将计算后的信息填充到所述模型记忆矩阵的历史记忆矩阵中；其中，所述记忆写入函数用于计算将所述隐藏状态信息写入记忆片段的概率，并将写入概率更高的所述隐藏状态信息填充到所述历史记忆矩阵上；

读取所述关键词记忆矩阵以及所述第i行诗句的当前记忆矩阵以及历史记忆矩阵信息通过诗歌生成模型生成所述第i行诗句。

2.根据权利要求1所述的方法，其特征在于，所述模型记忆矩阵存储于所述诗歌生成模型中，所述诗歌生成模型存储于区块链中。

3.根据权利要求1所述的方法，其特征在于，还包括：

所述多标签分类模型是基于多标签数据集ML-Images进行多标签图像分类任务的模型训练得到的；

所述单标签模型是基于ImageNet-ILSVRC2012数据集在所述多标签分类模型上进行单标签模型的微调训练得到的；

所述多标签分类模型和所述单标签模型存储于区块链中。

4.根据权利要求1所述的方法，其特征在于，将所述第一属性的关键词标签与所述第二属性的候选关键词标签进行映射，得到图像关键词标签信息，包括：

将所述第一属性的关键词标签和所述第二属性的候选关键词标签输入预训练的word2vec模型进行词嵌入，计算每个所述第一属性的关键词标签和每个所述第二属性的候选关键词标签的词语相似度；

当存在t个词语相似度大于等于预定阈值时，选择最大的词语相似度对应的关键词标签及候选关键词标签作为图像主题词，并从所述图像主题词对应的古诗词语中随机选择一个词语映射为映射关键词标签；

当存在t个词语相似度小于预定阈值时，根据预设关键词词典，对t个所述关键词标签及候选关键词标签进行映射，并选择出一个词语映射为映射关键词标签；

基于所述映射关键词标签，从所述映射关键词标签中选择多个所述映射关键词标签作为输入至模型记忆矩阵中的图像关键词标签信息。

5.根据权利要求1所述的方法，其特征在于，从所述关键词记忆矩阵中通过记忆读取函数读取与生成第i行诗句信息关联的关键词标签信息包括：

根据记忆读取函数，确定每个记忆片段被选中的概率与其自身的加权平均，得到所述模型记忆矩阵中读取记忆信息的向量，从而生成第i行诗句的第t时刻字符。

6.根据权利要求1所述的方法，其特征在于，所述将第i-2行诗句中字符信息对应的隐藏状态信息通过记忆写入函数计算后将计算后的信息填充到历史记忆矩阵中，包括：

在诗句第i-1行诗句生成后并且在诗句第i行诗句生成前，历史时刻的第i-2行诗句的每个字符经过编码器后对应的隐藏状态，通过记忆写入函数计算后为其选择一个所述历史记忆矩阵，然后将所述隐藏状态填入所述历史记忆矩阵中。