[发明专利]一种图像描述生成方法

说明书

本发明提供一种图像描述生成方法，包括如下步骤：S1：对MSCOCO数据集中的每一个图像分别标注用于描述该图像的语料；构建生僻词表；S2：对所有语料进行语料清洗；对清洗后的所有语料进行分词处理并对单词进行词向量化；S3：将MSCOCO数据集中的图像调整为相同尺寸后输入卷积神经网络，输出用于表达图像的特征的特征向量；S4：利用MSCOCO数据集中的图像对应的词向量和特征向量训练得到用于生成图像描述的长短时记忆网络模型；S5：将待描述图像输入步骤S3中所述卷积神经网络提取特征向量；S6：将步骤S5中提取的特征向量输入所述长短时记忆网络模型得到图像描述句子。本发明解决了现有技术不能用自然语言捕获和表达图像中各对象之间关系的问题。

技术领域

本发明涉及图像话题生成技术领域，具体而言，尤其涉及一种图像描述生成方法。

背景技术

近年来，随着人工智能领域的不断发展，计算机视觉这门学科的发展已经相当的成熟，各种图像相关的任务已经被解决并应用到实际生活中，而近几年随着深度学习的兴起，以机器翻译为代表的自然语言处理领域正在兴起，这两种学科的交叉运用使得图像描述生成任务受到很多关注。自动生成图像的描述，又称为图像的字幕生成问题，是场景理解的核心问题，该问题具有重要的实际应用，例如：帮助视障人士“看见”，帮助图像搜索，看图说话等等，都有着很好的应用前景。生成准确的图像自然语言描述是非常有意义的，它相当于将计算机视觉和自然语言处理结合起来，使模型拥有了模仿人类将大量显著的视觉信息压缩成描述性语言的卓越能力。同时，该问题是图像理解领域的一大挑战，是计算机视觉中的核心问题，它不仅需要模型足够强大，能够确定图像中的对象，而且模型还必须能够用自然语言捕获和表达对象间的关系。因此，图像描述问题一直被视为一个难题，正处于研究的初级阶段，有许多问题亟待解决。

发明内容

根据上述提出现有技术不能够用自然语言捕获和表达图像中各对象之间关系的技术问题，而提供一种图像描述生成方法。本发明主要利用提出的优化的卷积神经网络提取图像特征信息，并直接输入长短时记忆网络模型，从而起到简化了图像向量的生成以及模型的输入，不需动态再做调整的作用。

本发明采用的技术手段如下：

一种图像描述生成方法，包括如下步骤：

S1：对MSCOCO数据集中的每一个图像分别标注用于描述该图像的语料；统计所有语料中各单词的词频，将词频低于三的单词定义为生僻词，构建生僻词表；

S2：对所有语料进行语料清洗，包括断句，去掉标点符号、数字和特殊字符，根据生僻词表去掉生僻词，根据停用词表去掉停用词，以及词干化；

对清洗后的所有语料进行分词处理转化为单词，并通过Word2Vec编码方法对单词进行词向量化；

S3：将MSCOCO数据集中的图像调整为相同尺寸后输入卷积神经网络，输出用于表达图像的特征的特征向量；

其中，图像的特征包括图像的对象、颜色、边缘信息和纹理信息；

所述卷积神经网络包括通过快捷连接方式连接的残差模块：

y＝F(x，{W_i})+W_sx

其中，x和y是层次的输入和输出向量，函数F表示要学习的残差图；

所述残差模块加入了线性投影W，使输入x的维度与函数F的维度一致；

S4：利用MSCOCO数据集中的图像对应的词向量和特征向量训练得到用于生成图像描述的长短时记忆网络模型；

其中，所述长短时记忆网络模型的输入为经过卷积神经网络提取的特征向量，输出为生成的图像描述句子；

S5：将待描述图像输入步骤S3中所述卷积神经网络提取特征向量；