[发明专利]一种基于图像拼接参数提取的全景相机及其实时性参数优化方法

权利要求书

1.一种基于图像拼接参数提取的全景相机，其特征在于它是由固定在台座上的相机镜头构成；其中，所述相机镜头外部安装有保护外壳；所述台座上安装有立柱，用于将台座连同相机镜头及保护外壳支撑在底盘上；所述台座上有用于穿插数据线的开口；所述相机镜头的输出端连接有显示终端。

2.根据权利要求1所述一种基于图像拼接参数提取的全景相机，其特征在于所述台座上的开口位于台座的中心；所述立柱有4个，分别安装在台座的四边；所述相机镜头连接的显示终端是计算机；所述数据线用于连接相机镜头与计算机，完成视频数据的传输。

3.根据权利要求2所述一种基于图像拼接参数提取的全景相机，其特征在于所述相机镜头是鱼眼镜头，其数量为4个。

4.根据权利要求3所述一种基于图像拼接参数提取的全景相机，其特征在于所述相机镜头外部的外壳是三角形外壳，其数量为2个，每一个外壳里有2个相机镜头。

5.根据权利要求3所述一种基于图像拼接参数提取的全景相机，其特征在于所述鱼眼镜头的图像分辨率是640×480；所述四个鱼眼镜头按90°差用强力胶固定安装在台座上。

6.一种基于图像拼接参数提取的全景相机的实时性参数优化方法，其特征在于它包括以下步骤：

(1)启动相机镜头，对所在环境进行拍摄，得到第一组图像，即鱼眼图像；

(2)对步骤(1)得到的第一组鱼眼图像进行去畸变处理，利用如公式(2-1)所示的经度校正方法去除鱼眼图像的畸变：

式中，x₀、y₀是鱼眼图像的圆心坐标，R是其半径，(x,y)是鱼眼图像上的任意一点的坐标，(u,v)是校正后正方形平面的对应点的坐标；

(3)利用OpenCV中的加速健壮特征算法寻找步骤(2)得到的校正图像的特征点，并使用寻找特征点函数SurfFeaturesFinder()对校正图像的图像特征点和计算特征点描述子进行计算；

(4)使用OpenCV中的最近邻和次近邻方法对第一组校正图像中所有相邻两张图像的寻找到的特征点进行匹配，并找出两幅校正图像的匹配点对保存在一个动态数组中；

(5)设定置信度门限值，利用OpenCV中的筛选最优配对点函数leaveBiggestComponent()剔除步骤(2)得到的校正图像中不能参与拼接的图像，即：将图像的置信度高于置信度门限值的校正图像保存到同一集合中，且删除置信度低于预设门限值的校正图像；此时，若所拍摄的图像能够拼成一张全景图，则该集合中的校正图像将构成能够正确匹配的图像序列；若被删除的图像过多将会无法正确拼接全景图，进而会导致程序中断；

(6)利用OpenCV中的HomographyBasedEstimator类的estimate函数，将步骤(3)得到的校正图像的特征点、步骤(4)得到的匹配点对以及相机信息作为estimate函数的三个输入参数，对步骤(5)得到的图像序列中的校正图像的相机内外参数的值进行估计，计算出校正图像的单应性矩阵、焦距、图像长与宽、宽高比的值，并作为新的相机信息进行赋值；

(7)利用光束平差BundleAdjusterRay()类的adjuster函数进一步对步骤(6)得到的相机内外参数进行精确估计；其中，adjuster函数的输入值与estimate函数的输入参数类型相同，即特征点、匹配点对及相机信息，其输出为一个光束法平差值，并将此值叠加在每张校正图像的相机内外参数上，即可使每个图像的单应性矩阵和焦距长度相等；

(8)在拼接之前，调用波形校正函数WaveCorrect()，将步骤(6)中的单应性矩阵作为该函数的输入，则将计算并输出一个矫正后的单应性矩阵，而其他参数保持不变；此时，所有的校正图像将会对准在同一水平线，能够有效避免校正图像在水平空间位置上有起伏的现象，从而影响拼接效果；单应性矩阵的作用是使一幅图像与之相乘，从而可以旋转一定的角度，贴合到另一幅图像上，实现图像的拼接；

(9)由于不同位置相机镜头拍摄出的鱼眼图像在空间位置上相差远，因此，需要利用坐标系之间的数学映射方法，改变校正图像的投影面，即：需要对图像进行圆柱面变换，将每幅校正图像投影到同一个圆柱面上；其中，校正图像相对柱面图的坐标对应关系如公式(9-1)、公式(9-2)及公式(9-3)所示：

其中，k是两图像之间图形的相似比，width是校正图像宽度，height是校正图像高度，w和h分别是原图像的列数和行数，R是柱体圆面的半径，x和y表示投影后的图像坐标；

(10)将步骤(9)得到的投影后的校正图像乘以由步骤(8)计算出的矫正后的单应性矩阵，使校正图像进行旋转，完成初步的图像拼接；

(11)由于在图像拼接过程中会出现相邻图像的重合区域，且重合区域内会存在拼接不齐或同一个物体有左右重影的问题；但是，重合区域内的像素距左边界距离与该像素在重合区域所占权重成反比，因此，对步骤(10)得到的初步拼接后的图像的拼接重叠区域进行优化：

(11-1)利用公式(11-1)计算重合区域内的像素在重合区域所占权重：

式中，processWidth是重叠区域的宽度，j代表重叠区域内的某一列，α正是该列的权重，不同列对应不同的权重，start代表重叠区域的左边界；

(11-2)利用公式(11-2)将重叠区域中重合的两个点分别乘以各自的权重再相加，即可得到一个新的点：

d[j*3+n]＝p[j*3+n]*α+t[j*3+n]*(1-α) (11-2)

式中，d为计算得到的新的点的值，p、t分别代表两幅参与拼接的校正图像，其中p是权重较大的一幅图像，j代表重叠区域内的某一列，α正是该列的权重，n代表彩色图像的三个颜色通道，分别是B(蓝)、G(绿)、R(红)三个颜色通道，每一个通道的数值范围都是0～255，这里n＝0，1，2；

(11-3)将利用公式(11-2)计算出的像素值d代替原来的像素值对重叠区域的像素进行重新赋值；

(11-4)不断重复步骤(11-1)-(11-3)，直到重叠区域呈现出渐变的平滑效果，即完成第一组鱼眼图像的拼接；

(12)保存步骤(8)计算出的单应性矩阵，并再次启动相机镜头对环境进行拍摄，按照步骤(2)-(11)对新拍摄的鱼眼图像继续进行处理；由于相机镜头的空间相对位置固定，因此，在后续对新的到的图像进行拼接时，对新的鱼眼图像进行去畸变处理后，省略步骤(3)-步骤(8)，利用第一组图像拼接过程中得到的单应性矩阵，直接进行步骤(9)-步骤(11)的图像拼接工作。