[发明专利]一种基于CUDA的全景视频监控系统

摘要

一种基于CUDA的全景视频监控系统，首先，利用相位相关法估计多个视频图像间的重叠区域，在重叠区域内提取SURF特征点并进行配准，这样做缩短了算法时间，也减少了后续的误匹配；然后，本发明提出了基于改进的最佳融合线与多分辨率算法相结合的融合算法，消除了边缘跳变和鬼影现象，改善了视频的视觉效果；最后在融合阶段利用了GPU加速，进一步提高了拼接速度。实验结果表明，该方法能够有效的实现3路监控视频的实时拼接，帧率达到20帧，相比于传统CPU版本更能能够满足视频拼接的实时要求。

主权项

1.一种基于CUDA的全景视频监控系统，其特征在于：用三个相同的网络摄像头在同一水平面采集不同角度不同方位的视频图像，同步抓取各个摄像头的首帧图像，从左到右为采集相邻三路视频帧图像I1(x,y)，I2(x,y)和I3(x,y)；首先，利用傅里叶变换计算出视频图像之间的平移位置关系(Δx,Δy)，通过平移参数(Δx,Δy)能够近似计算出视频图像之间的重叠区域；利用SURF算法原理，使用盒子滤波和积分图像为图像构建尺度空间金字塔，通过改变盒子滤波器的大小，用不同大小的滤波器在原始图像的x、y和xy三个不同方向上做卷积，即可形成多尺度空间函数Dxx,Dyy,Dxy；选择6的倍数作为基本尺度间隔，下一层的尺度间隔每次都会翻倍；构建完尺度空间金字塔后，需要对提取局部极值点；利用一个det(H)的表达式Δ(H)来判断，若Δ(H)的值为正，则能够确定该点为局部极值点；得到局部极值点后，对它们在3×3×3的领域内进行非最大值抑制，把符合条件的点选为特征点；在特征点检测之后，为保证特征点具有旋转和尺度不变性，用Haar小波对特征点分配主方向；在特征点周围60度的圆形邻域内，计算尺寸为4σ的Haar小波响应，其中σ是特征点所在的尺度；然后将响应即小波系数以dx和dy建立坐标系，将各响应点映射到该坐标系并进行累加；最后将获得最大响应的方向定义为主方向；以特征点为中心将坐标轴旋转到主方向，选取边长为20σ的正方形窗口，将这个窗口划分成4×4个子窗口；对于边长为5σ的子窗口区域，以采样间隔为σ，分别计算每个子窗口水平和垂直方向上的小波响应，得到的小波系数记为dx和dy；然后对响应系数求和得∑dx和∑dy,求响应系数绝对值之和得到∑|dx|和∑|dy|每个子窗口得到一个4维向量(∑dx,∑dy,∑|dx|,∑|dy|)，特征点描述符由周围所有子窗口的向量构成，因此特征向量长度为4×4×4＝64；由此得到的描述符对旋转、尺度、亮度以及对比度都具有较好的鲁棒性；在检测到SURF特征之后由于两幅图像的重叠区域是相似的，寻找SURF特征点的匹配点时，把搜索区域限制在对应平移位置的一个邻域内；这个邻域为半径32的一个圆形区域；只需要在这个圆形区域里寻找匹配的特征点；这样能够减少需要进行比较的特征点数量，提高算法速度；首先对图像I1(x,y)的样本特征点P1，在I2(x,y)中对应重叠区域半径32的圆域内寻找与它距离最近特征点P12和次近特征点P12′，然后计算这两个特征点与样本点之间欧式距离的比值；对于比值小于阈值N的特征点，则认为是正确匹配的特征点，否则是错误匹配的特征点；同理，对图像I3(x,y)的样本特征点P3，在I2(x,y)中对应重叠区域半径32的圆域内寻找最近邻特征点P32和次近邻特征点P32′，然后计算欧式距离的比值来判断匹配点；通过最近邻匹配，这样就得到相邻两幅图像一系列的匹配点对，但由于算法的局限性，这些特征点得集合中难免有许多误匹配点，同时特征点提取的精度也存在一定的误差，这样就会影响拼接的质量和效率，因此采用RANSAC算法来提纯特征点并且求取变换矩阵；RANSAC算法的基本思想为：对于某个数据集合，首先随机选取两个点确定出一条直线；然后对该直线设定一个容许误差阈值，把处在阈值范围内的点判定为直线的内点集合；不断迭代这一随机采样过程，直至内点的数目最大且不再改变，那么此时确定的内点集合为最大内点集合；视频图像配准完成之后，下一步就是对图像进行融合；采用基于最佳缝合线的多分辨率融合法；首先需要求得视频图像重叠区域的最佳缝合线，求得缝合线后，获得图像的高斯金字塔表示，然后通过高斯金字塔获得图像的拉普拉斯金字塔表示，接着在各层拉普拉斯金字塔上在重叠区域的缝合线周围构建一个过渡融合带，按照加权平均将各层图像融合在一起，之后通过扩展每层金字塔，并累加每层扩展后的图像获得最终的拼接图像；由于拼接算法的耗时，不能满足实时性要求；算法阶段的优化基本已经达到极致，本系统从编程模型出发，利用多线程原理和GPU编程模型，对图像融合阶段进行GPU优化，实现了实时全景视频拼接系统，拼接效果完好，画面流畅；首先用相位相关法近似计算出两幅待拼接图像的重叠区域；若图像I1(x,y)和图像I2(x,y)之间有(Δx,Δy)的位移关系，则两幅图像之间的关系表示为：I1(x,y)＝I2(x‑Δx,y‑Δy)归一化后的互功率谱定义为:其中和是I₁(x,y)和I₂(x,y)的傅里叶变换；为的复共轭；将上式进行逆傅里叶变换，得到一个二维函数：δ(x‑Δx,y‑Δy)＝F‑1[e‑j2π(uΔx+vΔy)]函数最大峰值的位置对应于两幅图像之间的平移参数(Δx,Δy)；若两幅图像之间仅有平移关系，则函数的最大峰值大小反应两幅图像间的相关性大小，取值范围为[0,1]；值为1时表示两幅图像完全相同，为0时表示两幅图像完全不同；通过平移参数(Δx,Δy)可以近似计算出两幅图像的重叠区域；提取各个视频图像重叠区域的SURF特征点；提取特征点后需要进行图像配准，具体步骤为：(1)先建立带优先级的KD树索引；(2)遍历特征点集合P1，从待匹配视频图像相应重叠区域的32圆域内找出的最近邻与次近邻特征点；(3)计算最近邻与次近邻距离的比值Ratio＝最近邻特征距离÷次近邻特征距离，当比值Ratio小于0.7时，则认为找到匹配点；(4)重复以上两步，直到遍历完集合P1；得到特征点粗匹配对后，使用RANSAC算法来计算变换矩阵；由于同一个点在两个空间坐标系中的投影关系由一个8参数待定的3×3矩阵确定，而矩阵的8个未知参数只需4对匹配点就能够计算出；设集合S由粗匹配得到的N对匹配点组成，RANSAC算法具体步骤为：(1)从集合S中随机抽取4对不共线的匹配点，然后进行计算得到变换矩阵H1；(2)使用变换矩阵H₁对剩下的N‑4对样本进行误差计算，判断其是否为内点；判断步骤为：设和是一对匹配点，计算和的距离之和，称之为变换误差，若小于阈值T，则认为这对匹配点是内点；(3)反复执行(1)、(2)步，当内点个数达到最大且大于阈值M，就得到了初始变换矩阵H；基本的最佳缝合线思想是在两幅图像的重叠部分，寻找一条缝合线，使得缝合线的两边图像之间的颜色差异和结构差异同时达到最小，从而在缝合线的两边只选一幅图像的像素进行合成全景图像；因此，缝合线求解准则为：E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)其中，Ecolor表示重叠区域像素点的颜色差,Egeometry表示重叠区域像素点的结构差；求最佳缝合线具体步骤是：(1)以第一行各个像素点为起点建立缝合线，计算每个点处的强度值E，向下一行扩展；(2)比较与每一条缝合线的当前点紧邻的下一行中的3个像素强度值E，取对应的强度值最小的点作为该缝合线的扩展方向，更新此缝合线的总强度值，并将缝合线的当前点更新为下一行最小强度值对应的点；(3)从所有的缝合线中选择总强度值最小的一条作为最强缝合线；图像融合之前，需要用第一组同步帧求得的初始变换矩阵H对图像进行投影变换，单纯依靠CPU需要较多的计算时间，无法实现图像帧的实时处理；为了能够实现实时的效果，将图像的坐标变换过程以及图像融合过程移植到GPU上进行处理；由于图像的投影变换过程对整副图像的所有像素点都进行相同的坐标变换，然后进行像素点的颜色值拷贝，该过程具有较好的并行性；设在特征点匹配中得到的一对特征点匹配对为和根据小孔成像原理，我们知道一个三维空间坐标点分别对应两个图像I₁(x,y)和I₂(x,y)中不同位置的像素点，那么它们存在一一对应关系；通过透视投影映射函数，利用一个3*3的初始变换矩阵H，使得图像配准；单应矩阵用来计算同一个三维平面上的点在不同的二维图像中的投影位置的，是一个一对一的映射；其8参数矩阵表现形式，如下所示：为了保证得到的坐标变换图像中不出现“图像空洞”，采用坐标变换算法的逆过程进行计算，即对坐标变换后图像中的每个像素点寻找到其在原图像中的对应像素点，然后将该点的颜色值赋给坐标变换后图像中的像素点；坐标变换逆过程如下：然后将坐标变换后的图像进行降采样操作生成高斯金字塔，对高斯金字塔图像序列进行插值以及队插值后的高斯金字塔相邻层进行相减操作得到拉普拉斯金字塔，使用最佳缝合线算法对每层拉普拉斯金字塔图像进行融合，最后对图像进行重构，对目标图像进行插值和累加，从而生成最终全景视频监控图像。