[发明专利]一种基于深度残差网络和LSTM的图像理解方法

说明书

本发明公开了一种基于深度残差网络和LSTM的图像理解方法。所述方法首先构建一个深度残差网络模型提取图像的抽象特征并保存为特征矩阵；然后LSTM模型中的动态注意机制根据特征矩阵动态地生成合适的特征向量，最后LSTM模型根据特征向量生成成自然语言(英语)。本发明利用了深度残差网络在图像特征提取和LSTM对时序序列建模方面的优势，深度残差网络和LSTM模型成了一个编码‑解码框架，将图像内容信息转化成自然语言，达到提取图像的深层次信息的目的。

技术领域

本发明涉及图像语义理解、深度学习领域，特别是一种基于深度残差网络和LSTM(Long Short-term Memory)的图像理解方法。

背景技术

图像理解是指对图像语义的理解。它是以图像为对象，知识为核心，研究图像中何位置有何目标、目标之间的相互关系、图像是何场景的一门科学。

图像理解输入的是图像数据，输出的是知识，属于图像处理研究领域的高层内容。其重点是在图像目标识别的基础上进一步研究图像中各目标的性质及其相互关系，并得出对图像内容含义的理解以及对原来客观场景的解释，进而指导和规划行为。

目前常用的图像理解方法主要是基于底层特征与分类器相结合的方法，先使用小波变换、尺度不变特征变换(SIFT)、边缘提取等图像处理算法对图像进行特征提取，然后使用潜在狄利克雷分布(LDA)、隐马尔科夫模型(HMM)、支持向量机(SVM)等图像识别和推理算法对提取出的特征进行分类识别并建立语义模型。从算法实现上来看，目前常用的图像理解算法存在泛化性差、鲁棒性低、局部依赖性强、实现困难、识别率低等缺点。

发明内容

本发明公布了一种基于深度残差网络和LSTM的图像理解方法，该方法利用了深度残差网络在图像特征提取和LSTM对时序序列建模方面的优势，深度残差网络和LSTM模型成了一个编码-解码框架，将图像内容信息转化成自然语言，达到提取图像的深层次信息的目的。

本发明的目的通过以下的技术方案实现：基于深度残差网络和LSTM的图像理解方法，其特征在于：应用于从输入图像中提取抽象特征的深度残差网络模型、根据抽象特征生成自然语言的LSTM模型；具体包括如下步骤：

S1：下载训练数据集；

S2：对步骤S1数据集中的数据进行预处理；

S3：训练深度残差网络模型；

S4：训练LSTM模型；

S5：用步骤S3中训练好的深度残差网络模型提取待识别图像的抽象特征；

S6：将步骤S5中提取的特征输入到步骤S4训练好的LSTM模型中，LSTM模型根据特征生成自然语言。

优选的，步骤S1中下载训练数据集：分别从http://www.image-net.org、http://mscoco.org这两个网站下载ImageNet、MS-COCO公共图像数据集；ImageNet数据集分为训练图像集和测试图像集，MS-COCO数据集分为训练图像集合测试图像集，对应的，每张图片有5个用于描述其内容信息的自然语句。

优选的，步骤S2预处理包括对ImageNet数据集和MS-COCO数据集两种情况：

对于ImageNet数据集：每一张图像，将图像缩放到256×256大小，然后从图像上中下左右5处截取5张大小为224×224的标准尺寸图像，并将标准尺寸图像与其相对应的类别成对保存，一个“标准尺寸图像-类别”对作为一个数据；

对于MS-COCO数据集，预处理的步骤如下：

S2.1、将每一个自然语句与其对应的图像成对保存，一个“图像-自然语言语句”对作为一个数据；