[发明专利]基于相机姿态的虚拟视点生成方法及装置

说明书

本申请提供一种基于相机姿态的虚拟视点生成方法及装置。所述方法包括：根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。本申请实施例提供的基于相机姿态的虚拟视点生成方法可以提高虚拟视点的生成效率。

技术领域

本申请涉及图像处理技术领域，具体涉及一种基于相机姿态的虚拟视点生成方法及装置。

背景技术

真实世界是三维的，但目前主流显示设备依然是二维的。三维显示，特别是裸眼三维显示，收到越来越多的关注。裸眼三维显示需要密集视点图像，而采用相机阵列进行密集视点采集存在许多困难，如相机阵列间的同步调整，相机标定和姿态求解，以及数据存储和传输等。因此，在实际应用中，通常使用少量真实双目相机采集稀疏视点，并通过虚拟视点生成方法生成虚拟视点。

相关技术中，可采用DIBR(Depth Image Based Rendering，基于深度图像的虚拟视点渲染)来生成虚拟视点。然而，通过DIBR生成虚拟视点时，由于DIBR的虚拟视点生成方法需要校正左右图像，使得两图像极线位于同一水平线上，且只能生成位于同一极线上的虚拟视点，而不能生成任意位置的虚拟视点图像，从而导致虚拟视点的生成效率低。

发明内容

本申请实施例提供一种基于相机姿态的虚拟视点生成方法及装置，提高虚拟视点的生成效率。

第一方面，本申请实施例提供一基于相机姿态的虚拟视点生成方法，包括：

根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；

根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。

在一个实施例中，在根据相邻的视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点之前，还包括：

从相邻的两幅视点图像的第一视点图像中，提取第一匹配点；

根据训练好的光流估计模型，从相邻的两幅视点图像的第二视点图像中，提取与所述第一匹配点相匹配的第二匹配点；

根据所述第一匹配点和所述第二匹配点，形成匹配点对。

在一个实施例中，所述根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点，包括：

根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，确定两个所述相机对应的两条光线方向；

根据直接线性变化对两条所述光线方向进行处理，构建与所述匹配点对对应的三维点。

在一实施例中，所述根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像，包括：

当被选定的相机姿态为水平位置时，根据所述相机阵列中各所述目标相机的三维坐标，对各所述目标相机进行相机位置校平，获取各所述目标相机的校平坐标；

根据各所述目标相机的校平坐标，以及由各所述目标相机的旋转角进行平均处理后得到的各所述目标相机的校平旋转角，确定各所述目标相机的目标相机姿态；

根据各所述目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。