[发明专利]一种基于光流的3D视觉生成方法

说明书

技术领域

本发明涉及一种基于光流的全景拼接中的3D视觉生成方法。

背景技术

全景3D视频是虚拟现实(VR)中最重要的部分之一。它给用户带来了非常好的沉浸式体验。而现阶段全景3D视频的制作和传统视频的制作方式不同，其制作成本非常高。首先对于全景视频的制作往往需要一套拍摄设备，这套拍摄设备通常是将多个相机均匀的排列在一个圆上。其次，全景的制作需要将多个相机的内容拼接成一张完整的图片。现在的拼接方法分为两种，一种是基于特征点匹配的拼接方法。该方法会从需要拼接的两张图片中寻找对应的特征点，并根据对应特征点的位置关系大致两幅图的位置关系，从而拼接。由于只需要考虑特征点之间的位置关系，而特征点的个数有限，所以其拼接速度相对较快。但是这种拼接方法只计算了图中的很少一部分点的对应关系，所以无法估计出物体的深度信息，进而无法通过这种拼接算法获得3D的视觉效果。另一种是基于光流的拼接方法。光流的概念是Gibson 在1950年首先提出来的。它描述了空间运动物体在观察成像平面上的像素运动的瞬间速度。简而言之，光流计算了每个像素点的移动，即对于需要拼接的两张图片，光流会计算两张图之间每个像素点的对应关系。而在物体速度恒定的情况下，距离越远，成像中点的运动越小。因此我们可以通过这个来估计物体的景深。获取景深的信息之后，根据人眼瞳距模拟人眼的视角，就能在VR设备上看到3D的视觉效果。

发明内容：

本发明的目的是为了解决现有全景拼接系统中无法生成3D效果或3D效果不佳的问题，而提出一种基于光流的3D视觉生成方法。

一种基于光流的3D视觉生成方法，包括以下步骤：

步骤1、采集视频的相机需要均匀的摆放在圆心为O的同一圆上，即假设相机在圆上的位置顺时针排序为1、2、……、n，其中n为相机数目，每个相邻相机与圆心的夹角均为：

与此同时，需要相邻相机拍摄到内容有50％以上的重叠区域。

步骤2、计算光流：

步骤2.1、假设采集的图片的大小为W×H，首先将每张图片平分为大小的，并令第i个相机的左边的半张图为L_i，右半张图为R_i。

步骤2.2、分别计算R_i和L_i+1的光流值，若i＝n,则计算R_n和L₁的光流值。其计算光流的方法可以采用卢卡斯-卡奈德(Lucas–Kanade)光流算法。

步骤3、3D效果生成：

在进行3D效果生成的时候，利用步骤2中得到的光流信息，按照如下方式处理：

设在步骤2中，R_i中点P的光流大小为对于任意一点P，假设其在R_i中的位置为(x,y)，则P与相机i正对方向的夹角为：

假定圆心O与P的距离为D，相机所在圆的圆心为R，相机i与P在圆心O处的夹角为θ₁，相机i+1与P所在圆心O处的夹角为θ₂，根据正弦定理可得：

而：

θ₁+θ₂＝η

我们可算出θ₁的大小：

由此，我们同时也可计算出D：

另一方面，我们假定人眼的瞳距为d＝64mm，模拟左眼的位置在O与相机i的连线上，记为L，模拟右眼的位置在O与相机i+1的连线上，记为R，由于OL与OR的长度相同，我们可以计算出OL和OR的长度均为：

PL与O和相机i连线的夹角为α₁，PR与O和相机i+1连线的夹角为β₁，根据已经计算出的θ₁、D以及OL和OR的长度，可得：

因此，P在虚拟左眼视角中的坐标为：P在虚拟右眼的中的坐标为：通过此点对点的对应方式，能够模拟虚拟左眼和右眼的视图，从而生成3D视觉。

本发明具有以下效果：

本发明通过拼接过程中光流的值生成了双目的3D视觉，最终实现了能在头戴式VR眼镜或红蓝眼镜上观看的3D效果。

附图说明

图1为从相机视角转换为虚拟视角示意图；

图2为利用光流生成最终3D的效果；

图3为将图2中利用红蓝通道混合的3D效果，可以使用红蓝眼镜观看。

具体实施方式