[发明专利]一种结构保持的宽基线视频拼接方法

说明书

技术领域

本发明涉及视频拼接技术，更确切的是将多个宽基线视频拼接生成一个全景视频，属于虚拟现实技术领域和计算机图形图像处理领域。

背景技术

视频拼接技术是指将多个具有重叠部分的视频拼接融合成一个大型的无缝高分辨率的全景视频，同时也是一个日益流行的研究领域，在宇宙空间探索、海底勘测、医学、气象、地址勘探、军事等领域都有广泛的应用。

视频拼接技术的核心是图像拼接技术，传统的图像拼接技术严格假设多个相机位置处于同一个固定视点，或场景基本处于一个平面，该两点假设均要求图像中无较大深度变化。若视频图像内容存在较大深度变化，最后获得的全景图中会出现明显伪影，这种目标图像和参考图像之间的不对准通常称之为视差。为解决这种视差图像的拼接，人们开始尝试使用新的对准模型。DHW[1J.Gao,S.J.Kim,and M.S.Brown,“Constructing image panoramasusing dual-homography warping,”

in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,Jun.2011,pp.49–56.]使用两个单应矩阵分别用于远景和近景的对准；SVA[2W.-Y.Lin,S.Liu,Y.Matsushita,T.-T.Ng,and L.-F.Cheong,“Smoothly varying affine stitching,”in IEEE Conf.Comput.Vis.PatternRecognit.,Jun.2011,pp.345–352.]使用平滑变化的仿射矩阵进行不同区域的对准，APAP[3.J.Zaragoza,T.Chin,Q.Tran,M.S.Brown,and D.Suter,“As-projective-as-

possible image stitching with moving DLT,”IEEE Trans.PatternAnal.Mach.Intell.,vol.36,no.7,pp.1285–1298,2014.]将整张图像划分为一个个的网格，对每个网格都单独求取一个最优的单应矩阵。这些方法在一定程度上可以解决较小视差的图像对准，但是当图像基线过大或者纹理变化不够鲜明时则难以奏效。

针对宽基线视频的全景拼接通常更具挑战性。在实际的日常生活中，监控相机的位置、朝向、规格等属性差异较大，图像质量相比一般的数码相机又有所不及，甚至还会受到相机周围环境的影响，出现遮挡、污染、光照变化剧烈、图像模糊等情况。面对这种宽基线、大视差、低纹理的输入视频，现有的一些拼接算法均无法达到满意的效果，甚至有些基于传统拼接算法的商业拼接软件直接显示无法拼接。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种结构保持的宽基线视频拼接方法，根据宽基线视频的具体特点，将多个既相互独立又相互关联的视频拼接成一个大型的无缝全景视频，可用于智能安防监控系统，扩大监控画面的视野，提高监控效率。

本发明的技术解决方案如下：一种结构保持的宽基线视频拼接方法，步骤如下：

(1)视频帧同步阶段，将输入的多个宽基线视频分解为一系列的视频帧，并加入各自宽基线视频帧的缓冲队列，然后利用相机之间的时间差信息和各个宽基线视频的时间戳信息进行帧同步，得到同步后的多个宽基线视频；

(2)视频帧配准阶段，对同步后的多个宽基线视频的第一帧视频图像调用图像拼接算法生成一个初始的拼接模板，所述图像拼接算法的步骤如下：

(21)点匹配、直线匹配、轮廓匹配相结合的三阶段特征匹配：采用基于超像素分割的局部单应模型进行视频帧之间的SIFT特征点匹配，针对特征点匹配中点对数量低于200的低纹理视频帧，引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点，将各个阶段得到的点对集合的并集作为最终的匹配结果；

(22)结构保持的网格优化：首先为所有待拼接视频帧添加初始网格，定义以网格顶点为自变量的目标函数，目标函数约束匹配点对变换到同一点；然后最小化目标函数，得到最优的网格配置；最后根据初始网格和最优网格的对应关系求取多个仿射矩阵进行图像变形；

(23)无缝融合：针对图像变形后的图像对，计算重叠区域的对准误差和颜色差异，对准误差和颜色差异相加得到初始差异图，并将重叠区域的轮廓掩码作用于初始差异图得到最终差异图，在最终差异图上采用图割算法求取累积差异值最小的最优缝合线；

(24)提取(22)中的仿射矩阵和(23)中的最优缝合线作为参数初始化拼接模板；