[发明专利]基于相机阵列的全景成像方法

摘要

本发明公开了一种基于相机阵列的全景成像方法，主要解决现有技术拼接场景较小且存在“鬼影”的问题。其方案是：1)使用阵列相机获取多幅图像，读入两幅图像分别提取SIFT特征，进行特征匹配查找，得到两幅图像的匹配点并进行筛选，计算最优变换矩阵，根据最优变换矩阵对图像进行变换，采用改进的最佳缝合线算法和加权平均融合算法对图像进行融合拼接；2)重复步骤1)直到完成上下两部分的图像拼接，使之作为待拼接图像，逆时针旋转90°后继续拼接，对结果顺时针旋转90°，得到最终拼接全景图像。本发明显著消除了“鬼影”现象，且得到全景图像视场大，分辨率高，更加贴近真实的全景图，可用于横竖两个方向更大场景图像的拼接。

主权项

1.一种基于相机阵列的全景成像方法，包括：(1)使用阵列相机完成多幅图像的同时采集，获取i幅图像；(2)读入两幅图像并分别提取尺度不变特征变换特征点，即SIFT特征点:(2a)构造高斯金字塔及高斯差分金字塔，检测尺度空间极值；(2b)将(2a)中的尺度空间极值作为关键点，对该关键点进行定位和方向确定；(2c)对于每个完成定位和方向确定的关键点周围图像区域进行分块，并在该关键点为中心的4×4的块内计算8个方向的梯度直方图，绘制每个梯度方向的累加，生成具有独特性的128维的向量，用该向量将这个关键点描述出来，得到两幅图像的SIFT特征；(3)对步骤(2)所得SIFT特征点进行特征匹配查找，得到每两幅图像的匹配点:(3a)采用k‑d树算法根据步骤(2)所得的特征点对待拼接图像中的特征点建立k‑d树；(3b)采用BBF算法对图像进行特征匹配查找，实现两个图像的特征点匹配：(3b1)对输入图像中的每个特征点，在k‑d树中查找出待拼接图像中与之欧氏距离最近的前两个最近邻特征点；(3b2)将指定特征点与两个最近邻特征点中第一个最近邻的欧式距离与指定特征点与第二个最近邻的欧式距离求比值，并将该比值与设定的比例阈值0.49进行比较：如果比值小于该比例阈值，则接受指定特征点与第一个最近邻点为一对匹配点，实现两个图像的特征点匹配；否则不接受指定特征点与第一个最近邻点为一对匹配点；(4)对步骤(3)所得的每两幅图像匹配点进行筛选并计算最优变换矩阵H:(4a)将步骤(3)中所得匹配点对作为样本集，从样本集中随机抽选一个RANSAC样本，即4个匹配点对；(4b)根据这4个匹配点对计算当前变换矩阵L；(4c)根据样本集、当前变换矩阵L和误差度量函数，得到满足当前变换矩阵L的一致集C，并记录一致集中元素的个数a；(4d)设定一个最优一致集，初始元素个数为0，将当前一致集中元素个数a与最优一致集中元素个数做比较：如果当前一致集中元素个数a大于最优一致集中元素个数，则将最优一致集更新为当前一致集，否则，则不更新最优一致集；(4e)计算当前错误概率p：p＝(1‑in_frac^s)^o，其中，in_frac为当前最优一致集中元素个数占样本集中样本总数的百分比，s是计算变换矩阵需要的最小特征点对个数，取值为s＝4，o是迭代次数；(4f)将计算当前错误概率p与允许的最小错误概率0.01进行比较：如果p大于允许的最小错误概率，则返回步骤(4a)，直到当前错误概率p小于最小错误概率为止；如果p小于允许的最小错误概率，则当前最优一致集对应的变换矩阵L即为所求的最优变换矩阵H；(5)根据步骤(4)所得最优变换矩阵对图像进行变换，并进行图像融合：(5a)根据步骤(4)所得最优变换矩阵对输入两幅图像中的任意一幅进行变换，使得两幅图像位于同一坐标系中且两幅图像具有重叠区域；(5b)对(5a)中变换到同一坐标系的两幅图像进行亮度校正，使两幅图像的亮度差异最小:(5b1)将待拼接图像与输入图像均转化为灰度图，分别计算出待拼接图像的像素和与输入图像的像素和；(5b2)计算待拼接图像像素和与输入图像像素和的比值b；(5b3)如果(5b2)中计算所得的比值b小于1，则将输入图像每点的像素值与b相乘；如果该比值b大于1，则将待拼接图像的每点的像素值与b的倒数相乘；(5c)在配准的图像上寻找一条最佳缝合线:(5c1)将输入图像和待拼接图像均转化为灰度图，将输入图像与待拼接图像在重叠区域的对应像素进行依次相减，得到两幅图像重叠区域的差值图像，计算差值图像中每个像素的强度值E(x,y)：E(x,y)＝|E_gray(x,y)|+E_geometry(x,y)，其中，E_gray表示重叠区域像素点的灰度值之差，E_geometry表示重叠区域像素点的结构值之差：E_geometry＝(▽x₁‑▽x₂)×(▽y₁‑▽y₂)其中，▽x₁‑▽x₂为输入图像与待拼接图像在重叠区域的对应像素在x方向的梯度差，▽y₁‑▽y₂为输入图像与待拼接图像在重叠区域的对应像素在y方向的梯度差；▽x₁为输入图像在重叠区域每个点在x方向的梯度，该梯度由x方向的核S_x与输入图像在重叠区域图像中的每个像素点做卷积和的运算得到；▽x₂为待拼接图像在重叠区域每个点在x方向的梯度，该梯度由x方向的核S_x与待拼接图像在重叠区域图像中的每个像素点做卷积和的运算得到；▽y₁为输入图像在重叠区域每个点在y方向的梯度，该梯度由y方向的核S_y与输入图像在重叠区域图像中的每个像素点做卷积和的运算得到；▽y₂为待拼接图像在重叠区域每个点在y方向的梯度，该梯度由y方向的核S_y与待拼接图像在重叠区域图像中的每个像素点做卷积和的运算得到；所述S_x，S_y均为改进的Sobel算子模板，分别为：(5c2)运用动态规划理论，将差值图像第一行的每一像素点作为一条缝合线的起点，向下扩展，寻找下一行相邻的三个点中强度值最小的点，使之作为缝合线的扩展方向，依次类推到最后一行，在生成的所有缝合线中找出E(x,y)之和最小的一条缝合线作为最佳缝合线；(5d)对包含最佳缝合线的矩形进行加权平均融合，得到两幅图像的拼接全景图像I:(6)阵列图像拼接：(6a)以拼接全景图像I和一张待拼接图像作为输入的两幅图像，继续重复步骤(2)～(5)，循环进行，直到待拼接图像为第m幅图像为止，m＜＝i，最终得到m幅图像拼接成的横向拼接全景图；(6b)重复(6a)k次，k＜＝i且k×m≤i，得到k幅横向拼接图，每幅横向拼接图由m幅图像拼接而成；(6c)将k幅横向图像的前两幅作为输入图像，逆时针旋转90°，重复步骤(2)～(5)，得到两幅图像的纵向拼接图，对于剩余k‑2幅横向图像，以其前一次拼接好的图像和逆时针旋转90°后的待拼接图像作为输入的两幅图像，再重复步骤(2)～(5)，循环进行，直到待拼接图像为第k幅图像为止，再将拼接所得的纵向图像顺时针旋转90°，最终得到i幅图像的横纵向拼接全景图。