[发明专利]基于由粗到细的LSTM模型的图像扫描路径控制方法

权利要求书

1.一种基于由粗到细的LSTM模型的图像扫描路径控制方法，其特征在于，所述方法包括：

1)使用多任务CNN进行图像的特征图提取和显著性图输出；

2)将得到的显著性图和特征图在通道层面拼接，然后将拼接后的联合特征图输入到粗糙的CNN和LSTM网络中，生成粗略的连续扫描点信息序列；

3)根据粗略的连续扫描点信息序列生成注意力图序列，在不同的时间步上与联合特征图在通道层面拼接，形成时间敏感的联合特征图；

4)将显著性图与时间敏感的联合特征图在通道层面拼接，将拼接后的联合特征图输入到精细的CNN和LSTM网络中，以此生成连续扫描点信息序列；训练并测试整个模型，预测出图像的扫描路径。

2.根据权利要求1所述的一种基于由粗到细的LSTM模型的图像扫描路径控制方法，其特征在于，所述注意力图序列具体为：

提取粗略扫描点序列中的扫描坐标点序列；生成空白图像序列，每张图像A_i在对应坐标点s_i上像素值为255；

对每张图像A_i采取高斯模糊操作，得到注意力图序列。

3.根据权利要求1所述的一种基于由粗到细的LSTM模型的图像扫描路径控制方法，其特征在于，所述粗糙的、精细的CNN和LSTM网络具体为：

CNN和LSTM网络主要由两层的CNN、拉伸层、一个全连接层、三个LSTM网络和一个全连接层组成：两层卷积层的卷积滤波器大小都是3*3，通道数依次为32和8；拉伸层用于将特征图拉伸为特征向量；拉伸层后的全连接层用于改变特征向量长度等同于LSTM网络的单元数，便于后面输入；三个LSTM网络单元数都为100，输入与输出的维度都为T。

4.根据权利要求3所述的一种基于由粗到细的LSTM模型的图像扫描路径控制方法，其特征在于，

所述输入到粗糙的LSTM网络的是相同的特征向量，输入精细的T步特征向量每一步是不同的。

5.根据权利要求3所述的一种基于由粗到细的LSTM模型的图像扫描路径控制方法，其特征在于，所述训练并测试整个模型，预测出图像的扫描路径具体为：

训练多任务CNN使用原图作为输入数据，显著性图作为训练输入标签；

训练粗糙的CNN和LSTM网络使用拼接显著性图和特征图后的联合特征图作为输入数据，扫描点信息序列作为训练输入标签；

训练精细的CNN和LSTM网络使用拼接显著性图、注意力图和特征图后的时间敏感的联合特征图作为输入数据，扫描点信息序列作为训练输入标签。