[发明专利]一种特定轨迹下新视点合成视频生成的方法及系统

权利要求书

1.一种特定轨迹下新视点合成视频生成的方法，其特征在于，所述方法包括：

根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，并获取刚体变换矩阵，根据所述刚体变换矩阵能通过刚体变换将所述三维包围盒的中心点移至世界坐标系的原点，且三维物体包围盒的正前面平行于世界坐标系的XOY平面、底面平行于世界坐标系的XOZ平面；

对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理；

根据处理后的三维稀疏点云模型以及训练集图片对预先构建的神经渲染模型进行训练；

将与用户预设观察视点对应的设定相机外参矩阵输入至训练的神经渲染模型，输出该观察视点下的物体图像；

获取特定轨迹下不同观察视点的多张物体图像，并合成为视频。

2.根据权利要求1所述的一种特定轨迹下新视点合成视频生成的方法，其特征在于，根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，具体包括：

采集物体正视和侧视图像分别作为第一和第二参考帧，在所述第一和第二参考帧上标记出物体的二维包围框，根据所述二维包围框获取物体的关键角点；

对所述关键角点进行坐标转换得到对应的在世界坐标系下的3D坐标，根据关键角点的3D坐标即可得到物体的三维包围盒；

根据关键角点的3D坐标计算得到物体的三维包围盒的中心点坐标。

3.根据权利要求2所述的一种特定轨迹下新视点合成视频生成的方法，其特征在于，对所述关键角点进行坐标转换得到世界坐标系下的3D坐标，具体包括：

通过三维重建SFM算法得到相机内参矩阵K、对应于第一和第二参考帧的相机外参矩阵M1、M2；

根据小孔相机模型以及得到的相机内参矩阵K、相机外参矩阵M1、M2计算得到关键角点在世界坐标系下的3D坐标。

4.根据权利要求1所述的一种特定轨迹下新视点合成视频生成的方法，其特征在于，获取刚体变换矩阵，具体包括：

计算旋转矩阵R和平移矩阵T，根据所述旋转矩阵R和平移矩阵T得到刚体变换矩阵M。

5.根据权利要求1所述的一种特定轨迹下新视点合成视频生成的方法，其特征在于，对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理，具体包括：

将刚体变换矩阵M乘以三维稀疏点云模型中每一个3D点的坐标得到标准化的三维稀疏点云模型。

6.一种特定轨迹下新视点合成视频生成的系统，其特征在于，所述系统包括：

配准模块，用于根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，并获取刚体变换矩阵，根据所述刚体变换矩阵能通过刚体变换将所述三维包围盒的中心点移至世界坐标系的原点，且三维物体包围盒的正前面平行于世界坐标系的XOY平面、底面平行于世界坐标系的XOZ平面；

对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理；

神经渲染模型训练模块，用于根据处理后的三维稀疏点云模型以及训练集图片对预先构建的神经渲染模型进行训练；

视频生成模块，用于将与用户预设观察视点对应的设定相机外参矩阵输入至训练的神经渲染模型，输出该观察视点下的物体图像；

获取特定轨迹下不同观察视点的多张物体图像，并合成为视频。

7.根据权利要求6所述的一种特定轨迹下新视点合成视频生成的系统，其特征在于，所述配准模块具体用于：

采集物体正视和侧视图像分别作为第一和第二参考帧，在所述第一和第二参考帧上标记出物体的二维包围框，根据所述二维包围框获取物体的关键角点；

对所述关键角点进行坐标转换得到对应的在世界坐标系下的3D坐标，根据关键角点的3D坐标即可得到物体的三维包围盒；

根据关键角点的3D坐标计算得到物体的三维包围盒的中心点坐标。

8.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种特定轨迹下新视点合成视频生成的系统执行如权利要求1-5任一项所述的方法。