[发明专利]一种基于多级特征融合的视觉显著性预测方法

说明书

本发明公开了一种基于多级特征融合的视觉显著性预测方法，首先进行数据预处理，构建视觉显著性预测模型，包括编码器模块、多感受野模块、层级间的特征融合模块以及输出集成模块；将预处理后的图像输入构建的视觉显著性预测模型，对模型进行训练；最后通过训练好的视觉显著性预测模型完成视觉显著性预测。本发明方法模拟人的视觉机制，在面对大量图像信息的时候，可以在很短的时间内过滤掉非重要信息并快速定位到图像中的重要区域，从而以便于后续将有限的计算资源分配给图像视频中更重要的信息。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于多级特征融合的视觉显著性预测方法。

背景技术

随着互联网和通信技术的快速发展，人们每天获得的外界信息大幅增长，其中图像信息所包含的信息最为丰富。面对海量的图片和视频信息，快速的从图片和视频中获取有用信息，成为了一个重要问题。

研究人员发现人类具有快速搜索图片中感兴趣目标的能力，并能自动对感兴趣区域进行处理而选择性的忽略不感兴趣的区域，这些区域即称为显著性区域，这种视觉机制使得人类能在复杂环境下将有限的神经计算资源分配给更重要的目标。人类视觉注意机制有两种策略：(1)自底而上基于数据驱动的注意机制，通常指人们会更倾向于关注与周围具有较强对比度或与周围有明显不同的区域。(2)自上而下基于任务驱动的目标注意机制，这往往由人的认知因素决定，如之前所获得的知识、预期等影响。本发明考虑学习人类的视觉机制来进行视觉显著性预测从而快速获取图片重要信息，将有限的计算资源分配给图像视频中更重要的信息。视觉显著性在目标识别，图像视频压缩，图像检索，图像重定向中有着重要的应用价值，视觉显著性计算模型是通过计算机视觉算法区预测图像中那些信息更受到视觉注意的国政，受到当前研究人员的广泛关注和研究。Pan将显著性预测视为回归问题，设计了两个网络分别是一个三层浅层卷积神经网络和一个八层深层卷积神经网络分别进行视觉显著性预测。Cornia通过非线性映射将中级和高级特征结合在一起，然后将其与事先确定好的先验学习进行融合来进行视觉显著性预测。

发明内容

本发明所要解决的技术问题是：针对处理图片过程有中由于包含的大量信息造成的资源浪费问题，为了合理分配计算资源，需要采取一些方法能够快速定位到图片中更重要的区域。

针对上述实际情况，本发明提出了一种基于多级特征融合的视觉显著性预测方法。

一种基于多级特征融合的视觉显著性预测方法，包括以下步骤：

S1、数据预处理。

S2、构建视觉显著性预测模型。

所述的视觉显著性预测模型，包括编码器模块、多感受野模块、层级间的特征融合模块以及输出集成模块。所述的编码器模块采用VGG16模型的前5层，去除全连接层以及最后的池化层。

S3、将预处理后的图像输入构建的视觉显著性预测模型，对模型进行训练。

S4、通过训练好的视觉显著性预测模型完成视觉显著性预测。

本发明的有益效果：

本发明所使用的方法模拟人的视觉机制，在面对大量图像信息的时候，可以在很短的时间内过滤掉非重要信息并快速定位到图像中的重要区域，从而以便于后续将有限的计算资源分配给图像视频中更重要的信息。

附图说明

图1为本发明实施例视觉显著性预测模型结构示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步的详细说明。

一种基于多级特征融合的视觉显著性预测方法，详细步骤如下。

步骤S1、数据预处理：

预处理包括零填充、尺寸调整以及图像标准化三部分。