[发明专利]一种基于多级特征融合的视觉显著性预测方法

权利要求书

1.一种基于多级特征融合的视觉显著性预测方法，其特征在于，包括以下步骤：

S1、数据预处理；

S2、构建视觉显著性预测模型；

所述的视觉显著性预测模型，包括编码器模块、多感受野模块、层级间的特征融合模块以及输出集成模块；所述的编码器模块采用VGG16模型的前5层，去除全连接层以及最后的池化层；

S3、将预处理后的图像输入构建的视觉显著性预测模型，对模型进行训练；

S4、通过训练好的视觉显著性预测模型完成视觉显著性预测。

2.根据权利要求1所述的一种基于多级特征融合的视觉显著性预测方法，其特征在于，所述预处理包括零填充、尺寸调整以及图像标准化三部分；

1.1、零填充：

对图像进行零填充，使得调整后的每幅图像的高宽比均为3：4；从而保证图像在进行后续尺寸调整过程中能进行等比例的缩放；

1.2、尺寸调整；

将所有图像的尺寸统一为640×480；

1.3图像标准化；

对尺寸调整后的图像逐通道的进行标准化。

3.根据权利要求1所述的一种基于多级特征融合的视觉显著性预测方法，其特征在于，所述的视觉显著性预测模型采用的是编码器-解码器结构，其中编码器模块采用的是VGG16模型的前五层,分别是Encoder1、Encoder2、Encoder3、Encoder4和Encoder5，即去除掉最后的全连接层和最后一个池化层；由于去除了最后一个池化层，VGG16第四层和第五层的输出特征大小一致。

4.根据权利要求3所述的一种基于多级特征融合的视觉显著性预测方法，其特征在于，多感受野模块由三个分支构成，每个分支包含一个卷积，每个卷积均为3×3大小，空洞率分别设置为0，2，4，获得不同大小的感受野；将不同空洞率的卷积层输出进行串联，从而达到融合不同特征的目的；将融合后的特征进行全局平均池化来获得全局语义信息，并进行线性化操作，即1×1卷积操作，将融合后的1536通道的特征缩小为512通道的特征，以便于后续层级间进行特征融合。

5.根据权利要求4所述的一种基于多级特征融合的视觉显著性预测方法，其特征在于，为了恢复特征图像的分辨率的同时维持特征的鲁棒性和语义丰富性，在解码器部分采用了层级间的特征融合模块，实现深层特征和浅层特征之间的融合，层级间的特征融合模块由五层解码层构成，分别是Decoder1、Decoder2、Decoder3、Decoder4和Decoder5；解码层由通过三个由3×3卷积、批量归一化以及relu激活函数构成；将多感受野模块的输出特征和编码器模块的第五层的特征进行融合作为第一解码层Decoder1的输入，将第一解码层Decoder1的输出再与编码器模块的第四层的输出特征进行融合作为第二解码层Decoder2的输入，依次将解码层的输出与编码器模块的对应编码层的输出进行融合，实现深层特征和浅层特征之间的融合。

6.根据权利要求5所述的一种基于多级特征融合的视觉显著性预测方法，其特征在于，输出集成模块将层级间的特征融合模块的五个解码层的输出分别进行一个1×1的卷积操作，并将Decoder1-Decoder4解码层的输出进行上采样以保证和第五解码层Decoder5的输出的分辨率大小一致，然后将五层输出串联在一起，最后通过一个1×1的卷积操作得到最终的预测结果。