[发明专利]基于同步积分SURF算法的多路视频拼接方法

说明书

本发明提出一种基于同步积分SURF算法的多路视频拼接方法，该方法使用首次运行时计算出的相关参数拼接图像，若发生相机偏移导致图像拼接错误，系统可重新计算相关参数，进行系统校准；另外，该方法使用流水线算法编写SURF算法中的积分步骤，从而省去了计算图像积分所需消耗的时间，提高了系统运行效率；通过截取摄像头画面的交叉区域进行特征点检测与匹配并计算透视矩阵，与对完整图像进行特征点检测、特征点匹配及计算透视矩阵相比，减少了计算量，提高了系统运行速度；因此，本发明提出的方法不但可以当摄像头发生偏移后自行校准，从而实现提高设备的抗扰动性，降低维护成本，在设备正常使用时还拥有较高的运行速度。

技术领域

本发明属于视频拼接技术领域，具体涉及一种基于同步积分SURF算法的多路视频拼接方法。

背景技术

当今社会生产生活中对视频实时拼接的需求日益增加，例如360°全景监控、多路4K摄影机拍摄8K及更高分辨率视频等。目前，视频拼接设备基于FPGA芯片或专门的图像处理芯片，其中基于专门的图像处理芯片的产品其硬件复杂程度高、成本高，不利于推广，基于纯FPGA芯片的设备难以实现复杂算法，因此往往需要借助其他设备将FPGA难以计算的关键参数，例如需要大量浮点运算的参数，提前计算好，可一旦发生移位，这些关键参数需要重新计算，这类设备存在诸多限制，因此有些采用固定点拼接，即相机固定后通过裁剪视频的固定像素点拼接，此类设备难以应对相机抖动或移位，且一旦发生移位，很难恢复到原有状态，需重新寻找拼接点。

发明内容

本发明要解决的技术问题是提出一种提高视频拼接设备的抗扰动性的方法，以应对相机抖动或移位后，很难恢复到原有状态，需重新寻找拼接点的问题。

为解决上述技术问题，本发明提出一种基于同步积分SURF算法的多路视频拼接方法，通过高层次综合技术编写程序实现算法的硬件加速，且用户可选择校准模式重新计算图像拼接所需参数，因此可在摄像头发生移位后重新校准拼接系统，该方法包括如下步骤：

步骤1：进行多路视频采集；

步骤2：对多路视频数据进行同步；

步骤3：对多路视频数据进行图像矫正；

步骤31：利用摄像头标定软件获得视频数据的图像矫正映射表；所述映射表包含水平方向映射表map_x和垂直方向映射表map_y，分别以数组map_x(i,j)和map_y(i,j)的形式写入单独的头文件，包含进ARM端工程中，并将map_x、map_y的数组首地址传递到FPGA端；所述map_x(i,j)和map_y(i,j)分别表示矫正后的图像的(i,j)处像素在原图像中横坐标和纵坐标；

步骤32：传递所述映射表到FPGA端；FPGA端通过AXIMaster端口从水平方向映射表map_x、垂直方向映射表map_y数组地址读取数据并分别存储在两个hls::Mat对象中；

步骤33：缓存待矫正区域；

读取一帧视频缓存到hls::Mat对象src_Mat中；若要矫正src_Mat中第r行像素，需要将src_Mat中第r-m到第r+n行像素读取到二维数组tmp_Array中，其中，n和m需根据不同摄像头图像的垂直偏差确定；若输入图像水平尺寸小于1024个像素，则使用ARRAY_PARITION指令将二维数组tmp_Array中的元素存储到寄存器中；

步骤34：矫正图像；

当src_Mat对象的前n+m行图像读取到二维数组tmp_Array中后，开始依序从水平方向映射表map_x、垂直方向映射表map_y中读取映射坐标，并将像素值写入结果图像dst_Mat；当第一行像素矫正完成，继续从src_Mat读取一行像素并分别写入到tmp_Array[row％(m+n)][col]位置，其中，row从0开始，每从src_Mat中读取一行，row值加1；

步骤35：重复步骤34直到一帧图像矫正完成；