[发明专利]一种基于LSTM的二维图像的目标类别判识方法

说明书

本发明提供了一种基于LSTM的二维图像的目标类别判识方法，包括以下步骤：S1、依照从外至内的环状串联的方式将二维图像转化为一维矢量，依照行序串联的方式将二维图像转化为一维矢量，依照从列序串联的方式将二维图像转化为一维矢量；S2、将上述三种转化方式所得到的一维矢量全部送入LSTM网络进行训练或者判识，然后输出三种结果；S3、将LSTM网络输出的三种结果进行融合，并基于最终的融合结果进行目标判识。本发明的有益效果是：对二维图像使用不同的方式得到一维向量可以充分利用二维图像在空间上的组织关系，明显提高判别的正确率，且具有很好的可解释性。

技术领域

本发明涉及图像识别，尤其涉及一种基于LSTM的二维图像的目标类别判识方法。

背景技术

LSTM(长短时记忆)深度网络在目标类别判识中具有重要的应用，但是其仅限于目标表达为一维数据的情形。LSTM网络的主要优势在于能够比较充分利用到序列在时序上的关联信息。图1给出了LSTM整体结构示意图，为了解决传统RNN网络存在的梯度消失问题，即后面时间节点对于前面时间节点的感知力下降。LSTM设计了独具特色的Cell结构来实现记忆功能，保持后续时间节点对于之前时间节点的感知能力，同LSTM还设计了“遗忘门”(Forget Gate)来选择性的对之前的信息进行遗忘，以过滤掉不必要的冗余信息。

一个序列中的各数据段按照先后顺序依次送入到LSTM网络中进行处理。数据段划分的示意图见图2。假如当前时刻处理的序列中的数据段由序列中的字母I,T,W,H,V,A,S,E,N组成，则下一时刻处理的序列中的数据段由序列中的字母T,W,H,V,A,S,E,N，D组成，下下时刻处理的序列中的数据段由序列中的字母W,H,V,A,S,E,N，D，G组成，以此类推。此处数据段划分的步长为1。此处理方式运行序列中的信息得到充分应用。

LSTM的直接适用对象为一维数据，不能应用于二维图像。由于二维图像是应用中广泛使用的数据，所以研究者想到了将其转化为一维矢量后再利用LSTM网络。

LSTM能够充分利用到序列的时序间关联信息。若将其应用到图像数据，那么在图像数据转化为一维向量后，LSTM会充分利用到一维向量所表示图像的空间组织信息。目前，通常针对图像的处理方式是将图像矩阵按照逐行或逐列连接的单一方式进行转化，得到一维向量。如此单一的转化方式得到的一维向量无法充分反应出图像像素的空间组织关系，即此方式忽略了矩阵数据转化为一维数据时的其他可选方式；且使得图像数据的二维拓扑结构(不同像素在二维空间上的远近关系)得不到充分的体现，导致判别的正确率较低。

发明内容

为了解决现有技术中的问题，本发明提供了一种判别的正确率较高的基于LSTM的二维图像的目标类别判识方法。

本发明提供了一种基于LSTM的二维图像的目标类别判识方法，包括以下步骤：

S1、依照从外至内的环状串联的方式将二维图像转化为一维矢量，依照行序串联的方式将二维图像转化为一维矢量，依照从列序串联的方式将二维图像转化为一维矢量；

S2、将上述三种转化方式所得到的一维矢量全部送入LSTM网络进行训练或者判识，然后输出三种结果；

S3、将LSTM网络输出的三种结果进行融合，并基于最终的融合结果进行目标判识。

作为本发明的进一步改进，在步骤S1中，行序串联是将一个图像矩阵的第一行、第二行一直到最后一行对应的矢量依次首尾相连结合为一个一维项量。

作为本发明的进一步改进，在步骤S1中，列序串联是将一个图像矩阵的第一列、第二列一直到最后一列依次首尾相连结合为一个一维矢量，图像矩阵最左边的列称为第一列，图像矩阵最右边的列称为最后一列。

作为本发明的进一步改进，在步骤S1中，环状串联是将一个图像矩阵以由外至内的方式进行串联得到一维向量。