[发明专利]一种基于深度预测编码网络的夜视图像的场景预测方法

说明书

本发明涉及一种基于深度预测编码网络的夜视图像的场景预测方法，包括如下步骤：步骤1：构建夜视图像数据集；步骤2：构建深度预测编码网络；步骤3：实时获取待处理的图像，将图像输入深度卷积神经网络得到对应的特征图，再将特征图输入深度循环神经网络，将预测误差在网络中进行前向传递，最终输出场景预测图像。本发明实现了夜间模式下自动驾驶的场景预测，能够帮助汽车或驾驶员在夜间行驶时提前了解周围的情况并及时作出相应的决策，提高了自动驾驶汽车的安全性。

技术领域

本发明涉及夜视图像处理技术领域，特别是涉及一种基于深度预测编码网络的夜视图像的场景预测方法。

背景技术

自动驾驶汽车是一种自动化载具，具有传统汽车的一般功能。它不需要人为操作就能够感知其周围的环境及实现导航。完全的自动驾驶汽车仍然未全面实现商用化，部分需要依靠技术才下放至量产车型。但关于自动驾驶汽车已经在逐渐成为现实，引起了很多关于行车安全性的讨论。夜间由于光线不充足，人们识别周围场景的能力大大降低。如果汽车在行驶过程中能够提前预知周围场景的变化，就能够帮助驾驶员提前做出相应的调整，那么自动驾驶汽车的安全性可以得到很大的提高。场景预测是自动驾驶汽车理解周围场景变化的重要一环，对自动驾驶汽车的自主导航具有重要意义。在开始或出现之前预测即将发生的对象和动作是计算机视觉领域中的一个难题，一个非常重要的原因是它需要将这个世界上广泛的知识利用起来，而想要把这些知识完全记录下来是非常困难的。有一些研究者认为，可以利用未经过人工标记的视频来学习这种知识。场景预测在近几年受到人们的高度关注，在可见光领域：MichaelMathieu等人提出了三种互补的特征学习策略应用于预测中，可以解决由于不确定因素导致的预测中产生的模糊问题。Vondrick等人利用大量无标记的视频学习视频识别任务和视频生成任务中的场景动态，提出了一个面向视频的生成式对抗网络，可以用于预测静态图片的合理未来。WilliamLotter等人提出一种预测性神经网络结构，利用时间信息在未标记的视频中进行学习，来预测人的行为和对象，其不足在于只能预测大约0.09秒后的驾驶场景图像，对于处理长时间的场景预测任务效果不太好，不利于驾驶员及时作出相应的调整。目前，图像的场景预测多集中于可见光领域，极少研究夜间模式下的场景预测。

发明内容

本发明所要解决的技术问题是提供一种基于深度预测编码网络的夜视图像的场景预测方法，能够帮助汽车或驾驶员在夜间行驶时提前预知周围的场景变化，及时作出相应的决策，提高自动驾驶汽车的安全性。

本发明解决其技术问题所采用的技术方案是：提供一种基于深度预测编码网络的夜视图像的场景预测方法，包括以下步骤：

(1)构建夜视图像数据集，夜视图像数据集中包括训练样本图像及测试样本图像；

(2)构建深度预测编码网络，利用夜视图像数据集训练所述深度预测编码网络，其中：深度预测编码网络包括深度卷积神经网络及深度循环神经网络，通过深度卷积神经网络提取输入的原始图像的特征，再通过深度循环神经网络将每一幅图像预测的误差在网络中进行前向传递，不断更新预测误差，在每一次预测中调整预测结果，得到最终的预测图像；

(3)实时获取待处理的图像，将图像输入深度卷积神经网络后，得到对应的特征图；采用循环神经网络读取得到的特征图，不断调整预测误差，输出场景预测图像。

所述步骤(2)中的深度卷积神经网络为一系列的卷积、激励和池化的过程，其中，采用VGG16作为卷积网络，池化采用最大值池化。