[发明专利]一种基于深度残差网络和LSTM的图像理解方法

权利要求书

1.一种基于深度残差网络和LSTM的图像理解方法，其特征在于：应用于从输入图像中提取抽象特征的深度残差网络模型、根据抽象特征生成自然语言的LSTM模型；具体包括如下步骤：

S1：下载训练数据集；

S2：对步骤S1数据集中的数据进行预处理；

S3：训练深度残差网络模型；

S4：训练LSTM模型；

S5：用步骤S3中训练好的深度残差网络模型提取待识别图像的抽象特征；

S6：将步骤S5中提取的特征输入到步骤S4训练好的LSTM模型中，LSTM模型根据特征生成自然语言语句。

2.根据权利要求1所述的一种基于深度残差网络和LSTM的图像理解方法，其特征在于，所述的步骤S1中的数据集为下载ImageNet、MS-COCO两个公共图像数据集。

3.根据权利要求1所述的一种基于深度残差网络和LSTM的图像理解方法，其特征在于，步骤S2预处理包括对ImageNet数据集和MS-COCO数据集两种情况：

对于ImageNet数据集：每一张图像，将图像缩放到256×256大小，然后从图像上中下左右5处截取5张大小为224×224的标准尺寸图像，并将标准尺寸图像与其相对应的类别成对保存，一个“标准尺寸图像-类别”对作为一个数据；

对于MS-COCO数据集，预处理的步骤如下：

S2.1、将每一个自然语言语句与其对应的图像成对保存，一个“图像-自然语言语句”对作为一个数据；

S2.2、将“图像-自然语言语句”对中的图像维持长宽比不变并缩放，剪成224×224的标准尺寸图像，并将标准尺寸图像与其相对应的自然语言语句成对保存，一个“标准尺寸图像-自然语言语句”对作为一个数据；

S2.3、统计所有自然语言语句中出现过的单词，去重，排序，单词总个数记为K；用1×K的列向量来表示所有单词，列向量中下标为单词序号处置1，其他位置0，这样一个向量称为单词向量，所有的“单词-单词向量”对构成一个长度为K的字典DIC；

S2.4、将“图像-自然语言语句”对中的自然语言语句用基于字典DIC的单词向量表示，一个长度为C的自然语言语句y可以表示为：

4.根据权利要求1所述的一种基于深度残差网络和LSTM的图像理解方法，其特征在于，所述步骤S3中深度残差网络模型的结构包含多层卷积块、池化层、全连接层和softmax分类器；在每个卷积块中，先用批归一化方法对数据归一化，然后使用修正线性单元对数据进行非线性变换，最后进行卷积操作。

5.根据权利要求1或4所述的一种基于深度残差网络和LSTM的图像理解方法，其特征在于，所述步骤S3中训练深度残差网络模型使用随机梯度下降和反向传播方法，用预处理后的ImageNet数据集中“标准尺寸图像-类别”对作为样本；对于每个样本，标准尺寸图像在网络中向前传播，经过softmax层后输出预测类别，再将预测类别与实际类别的差异反向传播到网络头部，反向传播过程中使用随机梯度下降算法调整网络参数；重复样本输入的过程，直到网络收敛。