[发明专利]一种基于区域特征的视频帧间拼接方法

权利要求书

1.一种基于区域特征的视频帧间拼接方法，其特征在于，包括以下步骤：

步骤一：同步控制摄像机和惯性传感器工作，使用摄像机获得待拼接图像中每个像素的深度信息，使用惯性传感器获得摄像机的运动参数，并计算出待拼接图像的全局光流；

步骤二：在待拼接图像中，使用局部光流拟合法提取符合图像全局运动的局部特征区域；

步骤三：在局部特征区域中，使用FAST特征提取算子提取图像的FAST特征点；

步骤四：使用SAD算子对参考图像和待拼接图像中的FAST特征点进行配准，基于FAST特征点并结合RANSAC算法计算出待拼接图像的全局运动投影变换矩阵；

步骤五：结合渐入渐出加权平均算法完成待拼接图像与参考图像的无缝拼接。

2.如权利要求1所述的基于区域特征的视频帧间拼接方法，其特征在于，步骤一中，

使用惯性传感器获取摄像机的运动欧拉角[α，β，γ]、三轴位移[t_x，t_y，t_z]，并根据摄像机的运动参数计算出摄像机的运动外参矩阵[R,T]，其中α为章动角、β为进动角、γ为自转角、t_x为x方向的位移，t_y为y方向的位移，t_z为z方向的位移；R为运动外参矩阵旋转矩阵，T为运动外参矩阵的平移矩阵，旋转矩阵R和平移矩阵T的计算公式如式(1)、(2)所示：

R=cosγcosβcosγsinβsinα-sinγcosγsinβcosα-sinαsinγsinγcosβsinαsinβsinγ+cosγcosαsinγsinβcosα+cosγsinα-sinβcosβsinαcosβcosα---(1)]]>

T＝[t_x,t_y,t_z]'(2)

公式(2)中，T为向量[t_x，t_y，t_z]的转置形式，

所述待拼接图像的全局光流的计算方法如式(3)和(4)所示：

u2u1m2=KRK-1m1+1u1KT---(3)]]>

d(u,v)＝m₂-m₁(4)

其中，通过公式(3)计算出参考图像中的像素坐标m₁在待拼接图像中的像素坐标m₂，根据公式(4)计算出像素坐标m₁的全局光流d(u,v)，其中u为像素坐标m₁的水平方向的全局光流，v为像素坐标m₁的垂直方向的全局光流，u₁、u₂分别为m₁和m₂的深度信息，K为摄像机的内参矩阵。