[发明专利]一种特定轨迹下新视点合成视频生成的方法及系统

说明书

本发明公开了一种特定轨迹下新视点合成视频生成的方法及系统，将基于三维重建SFM算法的稀疏重建结果3Dproxy文件进行配准和刚性变换处理，使其世界坐标系的原点与物体的正中心达到重合，可以确保形成理想的正圆形拍摄轨迹，并且根据特定的观察视点输入特定的相机外参矩阵至神经渲染模型输出对应视点的图像，可实现按照某一轨迹进行运动时，得到精准的、特定轨迹下的合成视频，通过为用户提供方便的轨迹操控界面，从而可以借助神经渲染算法，完成特定轨迹下的新视点合成视频生成任务。

技术领域

本发明涉及视频合成技术领域，具体涉及一种特定轨迹下新视点合成视频生成的方法及系统。

背景技术

神经渲染是近年来出现的一种自动化内容生成AI算法，可以被用于新视点合成、重光照等生成式AI任务。新视点合成任务是指，基于某一场景多角度的大量图片数据、通过深度学习的方式，获得该场景的神经表示，并通过相应的神经渲染层进行逼真的图片生成；从而可以在指定的观察角度条件下，生成相应的图像输出，通过这种方式，理论上可以实现自由视点的视频生成。

对于物品展示类的场景，经常需要生成环绕拍摄的视频内容，换言之，需要虚拟相机围绕物品的正中心做正圆轨迹的运动。但是，现有的神经渲染新视点合成算法，例如ADOB，依赖于SFM步骤的稀疏重建的结果作为3D proxy，进而完成最终的神经渲染输出，SFM步骤，例如使用Colmap，得到的3D proxy，例如PLY格式的3D模型文件，其世界坐标系的原点与物体的正中心并不重合，这会造成，例如当指定虚拟相机绕Y轴进行旋转时，无法确保形成理想的正圆形拍摄轨迹；又例如当指定虚拟相机从物体的正面开始，按照某一轨迹进行运动时，系统无法得知所需的语义上的物体正面究竟对应什么样的相机外参矩阵。目前常见的新视点合成算法，在效果展示上，多生成随机观看轨迹，不能进行精准的、特定轨迹下的视频合成。

发明内容

为此，本发明提供一种特定轨迹下新视点合成视频生成的方法及系统，以解决现有新视点合成算法不能进行精准的、特定轨迹下的视频合成的问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明实施例的第一方面，提出了一种特定轨迹下新视点合成视频生成的方法，所述方法包括：

根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，并获取刚体变换矩阵，根据所述刚体变换矩阵能通过刚体变换将所述三维包围盒的中心点移至世界坐标系的原点，且三维物体包围盒的正前面平行于世界坐标系的XOY平面、底面平行于世界坐标系的XOZ平面；

对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理；

根据处理后的三维稀疏点云模型以及训练集图片对预先构建的神经渲染模型进行训练；

将与用户预设观察视点对应的设定相机外参矩阵输入至训练的神经渲染模型，输出该观察视点下的物体图像；

获取特定轨迹下不同观察视点的多张物体图像，并合成为视频。

进一步地，根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，具体包括：

采集物体正视和侧视图像分别作为第一和第二参考帧，在所述第一和第二参考帧上标记出物体的二维包围框，根据所述二维包围框获取物体的关键角点；

对所述关键角点进行坐标转换得到对应的在世界坐标系下的3D坐标，根据关键角点的3D坐标即可得到物体的三维包围盒；

根据关键角点的3D坐标计算得到物体的三维包围盒的中心点坐标。

进一步地，对所述关键角点进行坐标转换得到世界坐标系下的3D坐标，具体包括：

通过三维重建SFM算法得到相机内参矩阵K、对应于第一和第二参考帧的相机外参矩阵M1、M2；