[发明专利]基于由粗到细的LSTM模型的图像扫描路径控制方法

说明书

本发明公开了一种基于由粗到细的LSTM模型的图像扫描路径控制方法，包括：1)使用多任务CNN进行图像的特征图提取和显著性图输出；2)将得到的显著性图和特征图在通道层面拼接，然后将拼接后的联合特征图输入到粗糙的CNN和LSTM网络中，生成粗略的连续扫描点信息序列；3)根据粗略的连续扫描点信息序列生成注意力图序列，在不同的时间步上与联合特征图在通道层面拼接，形成时间敏感的联合特征图；4)将显著性图与时间敏感的联合特征图在通道层面拼接，将拼接后的联合特征图输入到精细的CNN和LSTM网络中，以此生成连续扫描点信息序列；训练并测试整个模型，预测出图像的扫描路径。

技术领域

本发明涉及图像扫描路径领域，尤其涉及一种基于由粗到细的LSTM(Long Short-Term Memory，长短期记忆)模型的图像扫描路径控制方法。

背景技术

视觉注意力是一种使视觉处理资源集中在行为相关的视觉信息上的机制。存在两种视觉注意力：一种涉及眼球运动，另一种则不涉及眼球运动。现有大多数与视觉注意力有关的研究活动都是对涉及眼球运动的注意力的理解和建模。揭示观察者在场景中的位置和方式的眼球运动是此类研究的关键因素。眼球运动由注视和扫视组成，视觉信息提取基本上发生在注视期间。注视序列被称为视觉扫描路径(visual scanpath)。传统视觉注视的研究往往只关注单一视觉注视的机械组合，而忽略不同视觉注视转移到何处、以什么顺序排列以及在给定图像的情况下每个位置停留多长时间，即忽略视觉扫描路径的研究。

目前图像扫描路径预测研究主要使用传统的高阶马尔可夫过程和条件概率分布图进行模拟生成，但这种研究思路不仅假设扫描是独立的事件而未考虑扫描可能受先前的扫描影响而且忽略了扫描点的停滞时间的预测。

随着深度学习的迅速发展特别是LSTM网络的出现，实现了更精准和大规模的时序活动的预测，也让充分模拟人眼的图像扫描路径成为可能。

发明内容

本发明提供了一种基于由粗到细的LSTM模型的图像扫描路径控制方法，本发明实现了对人眼观测图像时扫描路径的控制，详见下文描述：

一种基于由粗到细的LSTM模型的图像扫描路径控制方法，所述方法包括：

1)使用多任务CNN进行图像的特征图提取和显著性图输出；

2)将得到的显著性图和特征图在通道层面拼接，然后将拼接后的联合特征图输入到粗糙的CNN和LSTM网络中，生成粗略的连续扫描点信息序列；

3)根据粗略的连续扫描点信息序列生成注意力图序列，在不同的时间步上与联合特征图在通道层面拼接，形成时间敏感的联合特征图；

4)将显著性图与时间敏感的联合特征图在通道层面拼接，将拼接后的联合特征图输入到精细的CNN和LSTM网络中，以此生成连续扫描点信息序列；训练并测试整个模型，预测出图像的扫描路径。

其中，所述注意力图序列具体为：

提取粗略扫描点序列中的扫描坐标点序列；生成空白图像序列，每张图像A_i在对应坐标点s_i上像素值为255；

对每张图像A_i采取高斯模糊操作，得到注意力图序列。

进一步地，所述粗糙的、精细的CNN和LSTM网络具体为：

CNN和LSTM网络主要由两层的CNN、拉伸层、一个全连接层、三个LSTM网络和一个全连接层组成：两层卷积层的卷积滤波器大小都是3*3，通道数依次为32和8；拉伸层用于将特征图拉伸为特征向量；拉伸层后的全连接层用于改变特征向量长度等同于LSTM网络的单元数，便于后面输入；三个LSTM网络单元数都为100，输入与输出的维度都为T；

其中，所述输入到粗糙的LSTM网络的是相同的特征向量，输入精细的T步特征向量每一步是不同的。