[发明专利]视频预测方法、视频预测装置、电子设备和车辆

说明书

公开了一种视频预测方法、视频预测装置、电子设备和车辆。该视频预测方法包括：训练步骤，使用后验编码器生成的后验概率分布作为真值，对先验编码器进行训练；以及预测步骤，使用先验编码器从已知帧生成先验概率分布，使用先验概率分布作为第一解码器的隐变量，由第一解码器从已知帧生成预测帧。由此，可以使用后验编码器生成的后验概率分布训练先验编码器，再以先验编码器的先验分布作为隐变量进行视频预测，从而对于随机视频预测问题，能够获得更鲁棒的隐变量先验估计。

技术领域

本公开总体上涉及自动驾驶的技术领域，并且具体地涉及一种视频预测方法、视频预测装置、电子设备和车辆。

背景技术

近年来，自动驾驶或者说高级驾驶辅助系统(ADAS)日益受到广泛关注。ADAS系统通常需要使用各种车载传感器来感知车辆的本身和周围环境的各种状态，然后根据所收集的数据对静态和/或动态对象进行辨识、侦测与追踪，并结合地图数据进行运算和分析，从而制定驾驶策略，并最终实现自动驾驶功能。

在自动驾驶场景中，通常需要根据通过诸如摄像头等图像采集器件获得的视频或图像序列对环境中的动态对象(例如，行人、车辆等)的运动进行预测，然后将预测结果提供给后续模块使用，从而实现车辆的驾驶控制等功能。

对于图像序列或视频的随机预测，通常可以基于像素自回归模型或者自编码器框架提供相应的预测方法。然而，这些方法由于计算效率低而难以应对实时性要求，或者预测效果不佳，或者不具备鲁棒性。

因此，期待计算效率高且具有高鲁棒性的视频或图像序列的预测方案。

发明内容

为了解决或减轻至少上述技术问题，本公开的实施例提供了一种视频预测方法、视频预测装置、电子设备和车辆。通过该视频预测方法，能够使用后验编码器生成的后验概率分布训练先验编码器，然后以先验编码器的先验分布作为隐变量进行视频预测，从而至少对于随机视频预测，能够获得更鲁棒的隐变量先验估计。

一方面，本公开提供了一种视频预测方法，该方法可以包括训练步骤和预测步骤。训练步骤可以包括：使用后验编码器生成的后验概率分布作为真值，对先验编码器进行训练。预测步骤可以包括：使用前述先验编码器从已知帧生成先验概率分布；以及使用前述先验概率分布作为第一解码器的隐变量，由前述第一解码器从前述已知帧生成未来帧。

在一个实施例中，前述后验编码器可以根据预定的非学习类程序规则从先前帧和后续帧生成后验概率分布估计。

在一个实施例中，前述训练步骤还可以包括：在对先验编码器进行训练之前，对后验编码器进行训练。

在一个实施例中，对后验编码器进行训练可以包括：使用前述后验编码器基于先前帧和后续帧生成后验概率分布；使用前述后验概率分布作为第二解码器的隐变量，由前述第二解码器从前述先前帧生成预测帧；以及以前述预测帧与前述后续帧之间的误差作为损失，调整前述后验编码器的参数。

在一个实施例中，前述第一解码器和前述第二解码器可以彼此相同或不同。

在一个实施例中，前述先验编码器、前述后验编码器、前述第一解码器和前述第二解码器可以包括全卷积网络、循环卷积网络或长短期记忆网络。

在一个实施例中，前述先验编码器可以用于产生先验光流场概率分布，前述后验编码器可以用于产生后验光流场概率分布，前述第一解码器和前述第二解码器可以用于通过基于光流场的像素变换来产生预测帧。

在一个实施例中，在前述训练步骤中对先验和后验编码器进行训练时，前述第一和第二解码器也可以分别被训练。

在一个实施例中，在前述训练步骤中对后验编码器的训练和对先验编码器的训练可以交替或同步进行。