[发明专利]一种图像描述生成方法

摘要

本发明提供一种图像描述生成方法，包括如下步骤：S1：对MSCOCO数据集中的每一个图像分别标注用于描述该图像的语料；构建生僻词表；S2：对所有语料进行语料清洗；对清洗后的所有语料进行分词处理并对单词进行词向量化；S3：将MSCOCO数据集中的图像调整为相同尺寸后输入卷积神经网络，输出用于表达图像的特征的特征向量；S4：利用MSCOCO数据集中的图像对应的词向量和特征向量训练得到用于生成图像描述的长短时记忆网络模型；S5：将待描述图像输入步骤S3中所述卷积神经网络提取特征向量；S6：将步骤S5中提取的特征向量输入所述长短时记忆网络模型得到图像描述句子。本发明解决了现有技术不能用自然语言捕获和表达图像中各对象之间关系的问题。

主权项

1.一种图像描述生成方法，其特征在于，包括如下步骤：S1：对MSCOCO数据集中的每一个图像分别标注用于描述该图像的语料；统计所有语料中各单词的词频，将词频低于三的单词定义为生僻词，构建生僻词表；S2：对所有语料进行语料清洗，包括断句，去掉标点符号、数字和特殊字符，根据生僻词表去掉生僻词，根据停用词表去掉停用词，以及词干化；对清洗后的所有语料进行分词处理转化为单词，并通过Word2Vec编码方法对单词进行词向量化；S3：将MSCOCO数据集中的图像调整为相同尺寸后输入卷积神经网络，输出用于表达图像的特征的特征向量；其中，图像的特征包括图像的对象、颜色、边缘信息和纹理信息；所述卷积神经网络包括通过快捷连接方式连接的残差模块：y＝F(x，{Wi})+Wsx其中，x和y是层次的输入和输出向量，函数F表示要学习的残差图；所述残差模块加入了线性投影W，使输入x的维度与函数F的维度一致；S4：利用MSCOCO数据集中的图像对应的词向量和特征向量训练得到用于生成图像描述的长短时记忆网络模型；其中，所述长短时记忆网络模型的输入为经过卷积神经网络提取的特征向量，输出为生成的图像描述句子；S5：将待描述图像输入步骤S3中所述卷积神经网络提取特征向量；S6：将步骤S5中提取的特征向量输入所述长短时记忆网络模型得到图像描述句子。