[发明专利]基于GAN的交通视频显著性预测方法

说明书

本发明公开了一种基于GAN的交通视频显著性预测方法，属于计算机视觉技术领域。本发明将驾驶中的选择性注意机制与深度学习方法相结合，设计了逐渐生长多步判别的GAN网络模型，可以实时计算和预测行车记录仪拍摄的交通场景视频的显著性区域。基于本发明的GAN网络模型，可以有效地估计交通驾驶环境中驾驶员视觉搜索的显著性区域和环境周边突发情况，同时也能计算出交通标志等值得关注的重要目标。本发明通过结合视觉注意的相关机理及显著性检测模型去理解和预测交通驾驶场景中与驾驶任务有关的信息，可对未来的智能驾驶车辆、驾驶训练和辅助驾驶系统等提供有用的理论依据和视觉感知相关技术手段。

技术领域

本发明属于计算机视觉技术领域，具体涉及交通场景中图像显著性检测方法。

背景技术

交通场景中，车辆周围的情况是复杂且多变的。驾驶车辆周围充斥着大量信息，如其他车辆、行人、障碍物、交通标志等目标。为了驾驶安全，驾驶辅助系统除了检测车辆周边的常规目标，更应该识别出对驾驶安全来说更重要的目标。由于驾驶员在驾驶过程中需要注意力高度集中，大脑只能处理有限的信息，所以驾驶过程中重要信息的提醒就显得尤为重要。研究表明，有经验的驾驶员在模拟驾驶中搜索和提取目标的速度更快，视觉感知显著图更集中，自上而下的任务驱动能更有效地提取和处理特定环境信息。交通场景中的重要信息可以从行车记录仪和路口交通监控中通过学习行为模式来提取车辆框架和运动趋势，以及检测行人的位置、路径和交通标志的空间位置。眼动仪记录的眼动数据代表了交通场景中的视觉感知显著性区域，这可以作为重要信息的标签，以此来预测交通场景的显著性区域。

近年来，神经网络越来越多地应用在图像和视频领域，并且处理效果良好。卷积神经网络可以提取图像中的低级和高级特征，并做出相应的识别和分类。生成对抗网络(GAN)是一种无监督学习算法，可以学习非线性的特征，其中的生成网络可以生成目标图像。在使用GAN的生成模型的基础上，可以将GAN运用到视频中。残差网络(Resnet)结构利用了先验信息的指导，解决了深度神经网络中的梯度消失问题，可以使神经网络层数加深的同时降低学习参数难度。CycleGAN是生成对抗网络的一种变形，训练集数据可以没有一一映射关系，相当于增大了训练集数据量，可以实现非配对的图像到图像的风格转换等功能。结合上述几种方法，可以生成高分辨率的交通场景图，也可以生成显著性预测的图像，达到较好的预测注视区域效果。

据此，本发明的发明人设置了一个基于选择性注意机制和深度学习神经网络模型来预测交通驾驶场景中驾驶员视觉搜索的显著性区域，并根据选择性注意驱动的眼动特征来检测驾驶员的注视行为和显著性区域，以提醒驾驶员应注意哪些对驾驶有用的重要信息。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种CNN、CycleGAN、Resnet与GAN相结合的、渐进式训练判别的网络模型，从而提升对交通视频的显著性的预测性能。

本发明的用于交通视频的显著性的预测的网络模型包含两个主要网络：

1)生成网络(生成器)：能生成包含合理注视区域的交通图像，

2)判别网络(判别器)：能对生成图像与真实图像进行判别。

生成网络采用PG-GAN的思想，生成图像的尺度逐渐增长，从低分辨率开始逐步生成高分辨率图像。生成图像的尺度变化过程包含残差网络结构块，并且判别网络对生成图像的各个尺度进行多步判别，逐渐校正生成图像质量，优化生成结果。生成网络的最后输出结果即为预测的显著性区域。

即，本发明的基于GAN的交通视频显著性预测方法，包括下列步骤：

所述GAM模型包括生成网络和判别网络；

其中，生成网络采用U型网络结构，包括编码器和解码器，且在编码器和解码器之间包括三个依次连接的且结构相同的卷积层；