[发明专利]一种基于CUDA的全景视频监控系统

说明书

一种基于CUDA的全景视频监控系统，首先，利用相位相关法估计多个视频图像间的重叠区域，在重叠区域内提取SURF特征点并进行配准，这样做缩短了算法时间，也减少了后续的误匹配；然后，本发明提出了基于改进的最佳融合线与多分辨率算法相结合的融合算法，消除了边缘跳变和鬼影现象，改善了视频的视觉效果；最后在融合阶段利用了GPU加速，进一步提高了拼接速度。实验结果表明，该方法能够有效的实现3路监控视频的实时拼接，帧率达到20帧，相比于传统CPU版本更能能够满足视频拼接的实时要求。

技术领域

本发明属于视频图像处理及并行计算领域，涉及一种基于CUDA的全景视频监控系统。

背景技术

人类每天都会获取大量信息，其中视觉信息对人类非常重要。图像作为人类获取视觉信息的重要途径由此显得十分重要。然而随着人们对更广视觉范围的场景信息需求越来越多，普通的相机或摄像机能够拍摄到的场景的角度和视野范围是非常有限的，很多时候需要得到更大更完整的视频图像来获取信息。因此，为了获得更宽阔的视角，多摄像头视频拼接技术是极其必要的。

视频拼接即是从多个视频图像采集设备上同步获得位置及角度不同并有部分重叠区域的视频图像，通过配准及融合等技术而得到全景视频图像。视频拼接技术的基础是图像拼接。图像拼接的基本步骤包括：图像采集、图像配准、投影变换、图像融合。其中最算法最复杂也是计算最耗时的步骤为图像配准和图像融合。

图像配准是图像处理的一个基本问题，用于将不同时间、不同视角、不同传感器及不同拍摄条件下获取的图像进行匹配，其最终目的是建立两幅图像之间的对应关系，以确定一幅图像与另一幅图像的几何变换关系式。

Kuglin在1975年提出了相位相关配准法，该方法利用了傅里叶变换的平移性质对图像进行配准，但该方法只适合于存在纯平移关系的两幅图像之间的像素级别配准由于傅里叶变换的基本性质，决定了该配准模型也只适合平行视角，在仿射和透视变换模型中，该方法就不能成功配准。而实际过程中还很难做到相机位置以及其成像平面的绝对平行，一般成像平面都有一定的夹角，故需要采取新的办法。

2004年，David.Lowe总结了已有基于不变量技术的特征检测算法，正式提出了一种基于尺度空间的，对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征，即SIFT(Scale Invariant Feature Transform)特征检测算法。该算法的基本思想：首先利用高斯差分金字塔从图像中提取候选极值点，然后使用候选点邻域梯度的主方向作为该点的方向，最后提取出稳定的特征描述符。2006年，在SIFT算法研究的基础上，Bay等人提出SURF(SpeededUp Robust Transform)特征检测算法。SURF特征检测算法的主要优点是保持了SIFT高鲁棒性的同时，大大降低了特征检测的时间，这对整个视频拼接系统来说是很重要的。

图像融合技术是将前一步配准好的图像融合成一幅全景图像，在图像的融合中，由于不同的图像之间存在着曝光差异，使得直接拼接后的图像存在着明显的拼接细缝。因此，Szeliski提出了用对重叠区域的像素值做加权平均，通过赋予一个权重函数，使得图像之间的过渡平滑。

通过对像素值进行加权平均处理可以一定程度上解决过渡问题，但是当两幅图像的曝光差异过大时，可以利用Uyttendaele提出的基于块的曝光调整技术，它可以把图像分成若干块，将每一块进行曝光校正，然后再把这些校正过的块进行融合。该方法能够较好的解决因曝光而产生的过度不连续问题，但是若配准的时候存在误匹配的话，即投影矩阵有误差，则之后的融合将会造成图像的模糊，使得重叠区域产生重影。

针对重叠区域出现的模糊和虚影问题，一个较好的解决办法就是在重叠区域找出一条周围像素变换最小的缝合线，在这条线的左右两边只选择一幅图像中的像素值进行投影，而不再将两幅图像进行简单加权融合。Efros利用了动态规划的思想来进行最优路径求解。