[发明专利]一种基于特征点的图像拼接方法、虚拟现实系统、照相机

权利要求书

1.一种基于特征点的图像拼接方法，其特征在于，所述基于特征点的图像拼接方法包括：

第一步，对两幅图像进行fast角点提取，计算harris角点响应，并对图像网格化，在每一个网格内根据角点响应排序，筛选强特征点；

第二步，对强特征点进行orb和brief二进制描述子描述，然后分别进行暴力匹配，筛选出完全一致的匹配对，利用ransac求出引导矩阵；

第三步，将之前提取的fast角点利用引导矩阵进行映射，将其需要匹配的位置信息进行限定；

第四步，得到图像的匹配对后，随机选取4对匹配对求解单应矩阵，

第五步，选取4个固定点，利用单应矩阵进行映射，得到的位置信息，记录其坐标值到一个容器L内；

第六步，将获得的位置信息与L中已存在的进行差值计算，差值大于一定阈值重复第四步和第五步，差值小于一定的阈值，则计算模型的优劣，直到满足停止条件，则输出最优的单应矩阵；然后进行图像拼接，得到最终的结果。

2.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第一步中对两幅图像提取强特征点具体为：对两幅图像进行fast角点提取，fast特征点是对图像上某个像素周围一定半径的像素进行比较，若有连续的一部分像素灰度值比中心点的像素灰度大于或小于一定的阈值，则认为中心点为特征点；再对提取到的特征点进行harris角点响应值计算，计算公式为：

R＝det M-α(traceM)²；

其中，detM是矩阵M的行列式，traceM是矩阵M的迹，ω为窗函数，I_x(x,y)为x方向梯度，I_y(x,y)为y方向的梯度；然后分别对两幅图像进行网格化，对每一个网格内的fast角点根据harris角点响应值进行排序，筛选出网格内响应值排在前三名的作为强特征点。

3.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第二步中计算引导矩阵具体为：通过对强特征点进行二进制描述，采用orb和brief两种描述方法，BRIEF描述子采用二进制码串作为描述子向量；Brief以特征点p为中心，取一个S×S大小的Patch邻域；在这个邻域内随机取N对点；对这2×N点分别做高斯平滑；定义τ测试，比较N对像素点的灰度值的大小；

则二进制码串组成的N维向量为：

Orb描述子则是在brief基础上提出使用矩法确定FAST特征点的方向；通过矩计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：

而窗口的质心是：

那么整个窗口的旋转为：

θ＝atan2(m₀₁,m₁₀)θ∈(-π,π)；

采用两种不同的二进制码串，匹配上采用汉明距离，选取匹配一致的部分作为计算引导矩阵的匹配对。

4.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第三步中利用引导矩阵进行区域限定匹配具体为：将之前两幅图像提取的fast角点全部做orb二进制描述，根据特征点的坐标对第二幅图像进行网格划分，然后采用引导匹配，将第一幅图的特征点利用下式进行映射：

其中，是引导矩阵，(x,y,1)^T是第一幅图像特征点的齐次坐标，(x',y',1)^T是第一幅图像特征点经过引导矩阵G映射在第二幅图像上的齐次坐标位置，确定了第一幅图像特征点的网格，在网格内进行暴力匹配。