[发明专利]基于多摄像机交叉摄影的视频全景拼接融合方法及系统

说明书

本发明提供了基于多摄像机交叉摄影的视频全景拼接融合方法及系统，该系统用于实现该方法，该方法包括：从视频流中获取两张拍摄区域重叠的摄像机同一时刻的图像；对两张图像依次进行畸变校正和正射校正获得校正图像；提取两张校正图像的特征点，根据特征点得到特征点匹配对；根据特征点匹配对得到透视变换矩阵，根据透视变换矩阵得到两张透视变换图像；获得两张两张透视变换图像的蒙版；根据终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。本发明实现了主光轴交叉夹角大的摄像机之间的图像的拼接。

技术领域

本发明涉及视频处理领域，具体涉及基于多摄像机交叉摄影的视频全景拼接融合方法及系统。

背景技术

随着智能智造、智慧城市领域的蓬勃发展，越来越多场景需要有360度无死角的监控，最简单的解决方案就是直接在中心区域安装一个球形全景摄像机。但需要达到360度无死角拍摄，要求球形全景相机的必须垂直对地安装在场景的中心区域，要求场景中没有大型遮挡物，要求对相机输出图像进行畸变矫正，而且球形全景摄像机由于成像关系的原因，与主光轴夹角最小的正下方区域几乎占据整个输出视频的80％，而离主光轴角度越大区域拍摄的清晰度越低。相对于以上种种条件的限制，使用多个枪型摄像机交叉摄影的方式能满足90％以上场景对于360度无死角监控的需求。但由于摄像机安装数量的增多，由人工一个个的查看每个摄像机所拍摄视频非常的费事费神费力，因此社会各界对于多摄像机交叉摄影视频数据的融合技术提出了非常迫切的需求。

现阶段视频融合技术都只能在两个摄像机主光轴夹角在90度以内时进行视频融合才能融合出比较好的效果，当两个摄像机主光轴夹角大于90度时效果就会变得非常不理想。

发明内容

针对上述问题，本发明提供了一种基于多摄像机交叉摄影的视频全景拼接融合方法及系统。

一方面，本发明提供了基于多摄像机交叉摄影的视频全景拼接融合方法，其包括：

S1：从视频流中获取多个摄像机同一时刻的图像；

S2：对于S1中获取的一张图像，根据匹配规则从S1获取的图像中选出与其匹配的另一张图像，对两张匹配的图像分别先进行畸变校正，然后分别进行正射校正，得到两张校正图像，所述匹配规则包括：匹配的两张图像分别对应两个摄像机，所述两个摄像机的拍摄区域存在互相重叠的区域，所述互相重叠的区域的面积与所述两个摄像机的拍摄区域的面积之和的比例大于预设的重叠阈值；

S3：对两张校正图像分别提取各自的特征点，然后根据两张校正图像的特征点在两张校正图像之间进行特征点匹配，得到初步匹配对，对初步匹配对进行筛选，得到特征点匹配对；

S4：根据特征点匹配对计算两张校正图像的透视变换矩阵，根据透视变换矩阵将两张校正图像调整到统一的图像坐标系中，对于一个特征匹配对中的两个像素点，其在所述坐标系中的坐标相同，从而得到两张透视变换图像；

S5：分别计算两张透视变换图像的初始蒙版，将得到的两张初始蒙版的像素点的总数记为Nt，将获得的两张初始蒙版置于S4所述的坐标系中，按设定的删除规则交替对两张初始蒙版的边缘像素点进行删除，缩小两张初始蒙版的面积，所述删除规则包括：对于当前正在处理的初始蒙版的一个边缘像素点，判断在另一个初始蒙版中是否有与其坐标相同的像素点，若有，则在当前正在处理的初始蒙版中将该边缘像素点删除，若无，则保留该边缘像素点；

直到两张初始蒙版中剩余的坐标相同的像素点对的数量与Nt的比值小于预设的阈值，才停止交替删除两张初始蒙版中的边缘像素点，将停止交替删除边缘像素点后得到的面积缩小的两张初始蒙版作为两张最终蒙版；

S6：根据两张最终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。

另一方面，

本发明提供了基于多摄像机交叉摄影的视频全景拼接融合系统，其包括：