[发明专利]基于GAN的交通视频显著性预测方法

权利要求书

1.基于GAN的交通视频显著性预测方法，其特征在于，包括下列步骤：

步骤1：构建用于交通视频图像的显显著区域预测的GAM模型；

所述GAM模型包括生成网络和判别网络；

其中，生成网络采用U型网络结构，包括编码器和解码器，且在编码器和解码器之间包括三个依次连接的且结构相同的卷积层；

其中，编码器包括顺次连接的N个子块，每个子块包括依次连接的卷积层、最大池化层和残差模块；其中，编码器的N个残差模块相似，且编码器每个残差模块处理后的图像尺度比输入的图像尺度缩小一倍；

解码器包括顺次连接的N个子块，每个子块包括依次连接的图像缩放层、卷积层和残差模块，其中，图像缩放层用于增大输入的图像；解码器的N个残差模块相似，且解码器的每个残差模块处理后的图像尺度比输入的图像尺度增大一倍，即解码器的N个残差模块与编码器的N个残差模块呈对称排列，且同一对称子块位置处的残差模块的结构相同；

生成网络的解码器的各残差模块分别输出一个尺度的生成图像，从而生成N个尺度不同的生成图像；

判别网络对生成网络生成的N个尺度不同的生成图像进行多步判别，经过多层卷积操作后进行批标准化处理和线性激活处理，最后对隐含层的输出张量做卷积，输出一个二维的矩形向量；

且判别网络采用CycleGAN的损失判别方式；

步骤2：基于采集的训练样本集对GAM模型进行深度神经网络模型训练，得到将训练好的GAM模型；

其中，训练样本的样本标签基于预设的眼动实验对图像的数据预处理获得；

步骤3：对待预测的交通视频图像进行图像预处理，使其与训练好的GAM模型的输入相匹配，基于其输出得到待预测的交通视频图像的显著区域。

2.如权利要求1所述的方法，其特征在于，编码器和解码器的各残差模块包括两层卷积隐含层，将第二层卷积隐含层的输出与第一层卷积隐含层的输入的叠加结果作为残差模块的输出。

3.如权利要求1所述的方法，其特征在于，所述图像缩放层采用双线性插值resize方法对输入图像进行图像增大处理。

4.如权利要求1、2或3所述的方法，其特征在于，步骤2中，训练样本的样本标签设置具体为：

将交通视频的每一帧分解为交通图像，作为GAM模型的输入数据，并将所有视频以一定比例分为训练集和测试集，将被试观看交通视频采集的眼动数据与每帧视频做匹配，执行下述数据预处理：

(1)眼动数据转图像：

对交通视频的每一帧图像进行尺寸归一化处理，作为交通场景原图，定义归一化后的图像大小为m×n；

并将每一视频帧对应的眼动数据映射到m×n大小的灰度图像中，每个注视点位置都与交通场景原图相对应匹配，得到与交通场景原图一一匹配的眼动数据图像；

(2)注视点扩充成圆点：

以眼动数据图像中的每个注视点为圆心，基于预设的圆半径，将每个注视点扩充成圆形的注视区域，且圆形注视区域的灰度值从圆心到圆边缘逐渐衰减，其灰度值是与注视点到圆心的距离成反比；

(3)高斯平滑处理：

对注视点扩充成圆点后的每幅眼动数据图像进行高斯平滑处理后，再采用hsv标准颜色影映像，将得到的灰度高斯图像转换成彩色，得到彩色高斯注视区域图像；

(4)眼动数据与原图融合：

将每幅彩色高斯注视区域图像与其对应的交通场景原图相融合，得到融合图像，即得到带有样本标签的训练样本。

5.如权利要求1、2或3所述的方法，其特征在于，将注视点扩充成圆点时，采用的半径为21个像素点。

6.如权利要求1、2或3所述的方法，其特征在于，步骤(3)中，将得到的灰度高斯图像转换成彩色时，颜色渐变从红到绿，并将采用的颜色渐变矩阵长度扩充4倍。

7.如权利要求1、2或3所述的方法，其特征在于，步骤(1)中，归一化后的图像大小为1280×720。