[发明专利]图像段落描述生成方法、装置、介质及电子设备

权利要求书

1.一种图像段落描述生成方法，其特征在于，包括：

获取图像的图像特征；

根据所述图像特征使用卷积自动编码方法确定所述图像的主题；

根据所述主题使用基于长短期记忆网络LSTM的段落编码方法确定所述图像的图像描述信息；其中，LSTM包括句子级LSTM及段落级LSTM。

2.根据权利要求1所述的图像段落描述生成方法，其特征在于，所述图像特征包括所述图像的初始区域特征。

3.根据权利要求2所述的图像段落描述生成方法，其特征在于，所述根据所述图像特征使用卷积自动编码方法确定所述图像的主题包括：

通过连接所述初始区域特征构建初始区域特征向量；

通过使用卷积编码方法对所述初始区域特征向量进行卷积获得主题向量；

根据所述主题向量，确定所述图像的主题。

4.根据权利要求3所述的图像段落描述生成方法，其特征在于，还包括：

通过使用解卷积解码方法将所述主题向量进行重建，以得到重建区域特征向量；

计算所述初始区域特征向量与所述重建区域特征向量之间的距离确定所述主题的重建损失。

5.根据权利要求3所述的图像段落描述生成方法，其特征在于，还包括：

根据所述主题向量确定所述图像描述信息的句子的数量。

6.根据权利要求3所述的图像段落描述生成方法，其特征在于，还包括：

将所述初始区域特征进行平均融合得到融合图像特征。

7.根据权利要求6所述的图像段落描述生成方法，其特征在于，所述根据所述主题向量使用基于LSTM的段落编码方法确定所述图像的图像描述信息包括：

根据所述融合图像特征使用所述段落级LSTM确定所述图像描述信息中的句子间依赖性及所述段落级LSTM的输出向量；

根据所述段落级LSTM的所述输出向量及所述主题向量，确定所述融合图像特征的注意力分布；

根据所述注意力分布将所述融合图像特征进行加权处理得到被注意图像特征；

将所述被注意图像特征、所述主题向量及所述段落级LSTM的所述输出向量输入所述句子级LSTM获得所述主题的句子生成条件及描述所述主题的单词；

根据所述句子生成条件及描述所述主题的所述单词确定所述图像描述信息。

8.根据权利要求1所述的图像段落描述生成方法，其特征在于，还包括：

采用自我批评方法对所述图像描述信息的覆盖范围进行评价得到所述图像的序列级奖励；

确定所述图像描述信息相对于图像原始描述信息的高频对象的覆盖率；

将所述覆盖率加权之后与所述序列级奖励相加，获得对所述图像描述信息的覆盖范围奖励。

9.一种图像段落描述生成装置，包括：

图像特征获取模块，用于获取图像的图像特征；

主题向量确定模块，用于根据所述图像特征使用卷积自动编码方法确定所述图像的主题；

描述信息确定模块，用于根据所述主题使用基于长短期记忆网络LSTM的段落编码方法确定所述图像的图像描述信息；其中，LSTM包括句子级LSTM及段落级LSTM。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的图像段落描述生成方法。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的图像段落描述生成方法。