[发明专利]基于相机姿态的虚拟视点生成方法及装置

权利要求书

1.一种基于相机姿态的虚拟视点生成方法，其特征在于，包括：

根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；

根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。

2.根据权利要求1所述的基于相机姿态的虚拟视点生成方法，其特征在于，在根据相邻的视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点之前，还包括：

从相邻的两幅视点图像的第一视点图像中，提取第一匹配点；

根据训练好的光流估计模型，从相邻的两幅视点图像的第二视点图像中，提取与所述第一匹配点相匹配的第二匹配点；

根据所述第一匹配点和所述第二匹配点，形成匹配点对。

3.根据权利要求1所述的基于相机姿态的虚拟视点生成方法，其特征在于，所述根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点，包括：

根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，确定两个所述相机对应的两条光线方向；

根据直接线性变化对两条所述光线方向进行处理，构建与所述匹配点对对应的三维点。

4.根据权利要求1所述的基于相机姿态的虚拟视点生成方法，其特征在于，所述根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像，包括：

当被选定的相机姿态为水平位置时，根据所述相机阵列中各所述目标相机的三维坐标，对各所述目标相机进行相机位置校平，获取各所述目标相机的校平坐标；

根据各所述目标相机的校平坐标，以及由各所述目标相机的旋转角进行平均处理后得到的各所述目标相机的校平旋转角，确定各所述目标相机的目标相机姿态；

根据各所述目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。

5.根据权利要求1或4所述的基于相机姿态的虚拟视点生成方法，其特征在于，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像，包括：

对各所述三维点以相邻的两幅所述视点图像作为参考图像进行重投影，确定与所述相机姿态对应的两幅相邻的初始虚拟视点图像；

将相邻的所述初始虚拟视点图像中的左图进行空洞填充，生成虚拟视点图像。

6.根据权利要求5所述的基于相机姿态的虚拟视点生成方法，其特征在于，所述将相邻的所述初始虚拟视点图像中的左图进行空洞填充，包括：

获取相邻的所述初始虚拟视点图像的左图中空洞面积大于预设面积的第一空洞位置；

从所述右图中获取与所述第一空洞位置对应的像素填充至所述第一空洞位置。

7.根据权利要求6所述的基于相机姿态的虚拟视点生成方法，其特征在于，还包括：

获取所述左图中空洞面积小于或等于所述预设面积的第二空洞位置；

对所述第二空洞位置通过闭操作进行空洞填充。

8.一种基于相机姿态的虚拟视点生成装置，其特征在于，包括：

三维点构建模块，用于根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；

虚拟视点生成模块，用于根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。

9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于相机姿态的虚拟视点生成方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的基于相机姿态的虚拟视点生成方法的步骤。