[发明专利]一种基于对象状态预测的图像生成方法及装置

说明书

本说明书实施例提供了一种基于对象状态预测的图像生成方法及装置。在该方法中，获取多个图像帧按照时间序列形成的图像集，图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；将图像集输入特征提取模型，得到图像集的第一特征，其中包括对象的静态参数和环境的静态参数；从所述图像集中确定所述对象的第二特征，其中包含所述对象在图像集中的指定时刻的运动状态；将第一特征和第二特征输入状态预测模型，得到对象在指定时刻之后的至少一个目标时刻的预测运动状态；采用解码器，基于预测运动状态，生成在目标时刻的预测图像。

技术领域

本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及一种基于对象状态预测的图像生成方法及装置。

背景技术

随着科技的不断发展，图像采集技术也在不断地进步，例如使用手机、摄像头等设备进行图像采集的应用也越来越广泛。基于图像的各种处理，发展方向也非常广泛。通常，可以基于采集的图像进行车辆追踪、人物锁定等应用。在图像视觉等技术领域，基于已经采集的部分图像来预测未来一段时间内的可能图像，是图像视觉技术领域的新研究方向。

因此，希望能有改进的方案，可以基于已经采集的部分图像更加准确地生成新图像。

发明内容

本说明书一个或多个实施例描述了一种基于对象状态预测的图像生成方法及装置，可以基于已经采集的部分图像更加准确地生成新图像。具体的技术方案如下。

第一方面，实施例提供了一种基于对象状态预测的图像生成方法，通过计算平台执行，所述方法包括：

获取多个图像帧按照时间序列形成的图像集，所述图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；

将所述图像集输入特征提取模型，得到所述图像集的第一特征，其中包括所述对象的静态参数和所述环境的静态参数；

从所述图像集中确定所述对象的第二特征，其中包含所述对象在所述图像集中的指定时刻的运动状态；

将所述第一特征和所述第二特征输入状态预测模型，得到所述对象在所述指定时刻之后的至少一个目标时刻的预测运动状态；

采用解码器，基于所述预测运动状态，生成在所述目标时刻的预测图像。

在一种实施方式中，所述将所述图像集输入特征提取模型，得到所述图像集的第一特征的步骤，包括：

通过所述特征提取模型，确定所述图像集中每个连续两帧图像对应的子特征，将各个子特征进行特征聚合，得到所述图像集的第一特征。

在一种实施方式中，所述图像集还包括多个图像帧中所述对象的多个位置信息；所述将所述图像集输入特征提取模型，得到所述图像集的第一特征的步骤，包括：

将所述图像集中的图像帧和对应的位置信息输入特征提取模型，得到所述图像集的第一特征。

在一种实施方式中，所述从所述图像集中确定所述对象的第二特征的步骤，包括：

基于变分自编码器，从所述图像集中确定所述对象的第二特征；

或者，基于循环神经网络RNN，从所述图像集中确定所述对象的第二特征。

在一种实施方式中，所述从所述图像集中确定所述对象的第二特征的步骤，包括：

从所述图像集中选取指定时刻的第一图像帧和所述第一图像帧的前一图像帧，从所述第一图像帧和所述前一图像帧中确定所述对象的第二特征。

在一种实施方式中，在训练所述特征提取模型和状态预测模型时，基于多步预测损失函数进行训练。

在一种实施方式中，所述对象的静态参数包括所述对象的质量和体积中的至少一个，所述环境的静态参数包括所述环境中地面摩擦力和空气阻力中的至少一个。