[发明专利]一种基于对象状态预测的图像生成方法及装置

权利要求书

1.一种基于对象状态预测的图像生成方法，通过计算平台执行，所述方法包括：

获取多个图像帧按照时间序列形成的图像集，所述图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；

将所述图像集输入特征提取模型，得到所述图像集的第一特征，其中包括所述对象的静态参数和所述环境的静态参数；

从所述图像集中确定所述对象的第二特征，其中包含所述对象在所述图像集中的指定时刻的运动状态；

将所述第一特征和所述第二特征输入状态预测模型，得到所述对象在所述指定时刻之后的至少一个目标时刻的预测运动状态；

采用解码器，基于所述预测运动状态，生成在所述目标时刻的预测图像。

2.根据权利要求1所述的方法，所述将所述图像集输入特征提取模型，得到所述图像集的第一特征的步骤，包括：

通过所述特征提取模型，确定所述图像集中每个连续两帧图像对应的子特征，将各个子特征进行特征聚合，得到所述图像集的第一特征。

3.根据权利要求1所述的方法，所述图像集还包括多个图像帧中所述对象的多个位置信息；所述将所述图像集输入特征提取模型，得到所述图像集的第一特征的步骤，包括：

将所述图像集中的图像帧和对应的位置信息输入特征提取模型，得到所述图像集的第一特征。

4.根据权利要求1所述的方法，所述从所述图像集中确定所述对象的第二特征的步骤，包括：

基于变分自编码器，从所述图像集中确定所述对象的第二特征；

或者，基于循环神经网络RNN，从所述图像集中确定所述对象的第二特征。

5.根据权利要求1或4所述的方法，所述从所述图像集中确定所述对象的第二特征的步骤，包括：

从所述图像集中选取指定时刻的第一图像帧和所述第一图像帧的前一图像帧，从所述第一图像帧和所述前一图像帧中确定所述对象的第二特征。

6.根据权利要求1所述的方法，其中，在训练所述特征提取模型和状态预测模型时，基于多步预测损失函数进行训练。

7.根据权利要求1所述的方法，所述对象的静态参数包括所述对象的质量和体积中的至少一个，所述环境的静态参数包括所述环境中地面摩擦力和空气阻力中的至少一个。

8.根据权利要求1所述的方法，所述特征提取模型采用卷积神经网络CNN、深度神经网络DNN或多层感知机MLP实现；所述状态预测模型基于随机状态空间模型得到。

9.一种基于对象状态预测的图像生成装置，部署在计算平台中，所述装置包括：

图像获取模块，配置为，获取多个图像帧按照时间序列形成的图像集，所述图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；

特征提取模块，配置为，将所述图像集输入特征提取模型，得到所述图像集的第一特征，其中包括所述对象的静态参数和所述环境的静态参数；

特征确定模块，配置为，从所述图像集中确定所述对象的第二特征，其中包含所述对象在所述图像集中的指定时刻的运动状态；

运动预测模块，配置为，将所述第一特征和所述第二特征输入状态预测模型，得到所述对象在所述指定时刻之后的至少一个目标时刻的预测运动状态；

图像生成模块，配置为，采用解码器，基于所述预测运动状态，生成在所述目标时刻的预测图像。

10.根据权利要求9所述的装置，所述特征提取模块，具体配置为：

通过所述特征提取模型，确定所述图像集中每个连续两帧图像对应的子特征，将各个子特征进行特征聚合，得到所述图像集的第一特征。

11.根据权利要求9所述的装置，所述图像集还包括多个图像帧中所述对象的多个位置信息；所述特征提取模块，具体配置为：

将所述图像集中的图像帧和对应的位置信息输入特征提取模型，得到所述图像集的第一特征。