[发明专利]一种多视频融合方法、装置与系统

说明书

本发明公开了一种多视频融合方法、装置与系统，用于对多视频进行融合，该多视频融合方法包括：获取全景视频信息以及多画面视频信息；根据预设融合算法与预设融合方式对所述全景视频信息以及所述多画面视频信息进行融合。采用本发明的技术方案，达到一种混合视频融合的效果。且做到全景视频和多角度多画面视频无缝融合，在融合的过程中，允许多画面视频以任意大小，在任意位置和任意个数与全景视频进行无缝融合，在全景播放器中观看融合效果无任何畸变。

技术领域

本发明涉及视频处理领域，尤其涉及一种多视频融合方法、装置与系统。

背景技术

现有视频融合方案，首先经过多路摄像头的采集，采集之后的图像进行特征提取，最后根据特征点的位置进行全景拼接。视频采集一般会采用多个摄像头，并且摄像头的布局通常会要求尽可能达到镜头焦点重合，这样才能保证后期过缝效应不明显。采集后的图像需要经过计算机视觉算法进行特征提取，该部分计算复杂度较高，为接下来的视频拼接提供依据。最后根据原图像和目标图像特征点的相对位置进行视频融合，融合过程中要去除两两摄像头因光心不能绝对重合而导致的视差现象。

现有的视频融合算法存在以下问题：

第一，现有的全景视频融合算法都仅仅是全景视频拼接算法，就是将多路视频按照上述系列步骤拼接成一个全景视频。这种做法只能保留一个大范围的视野，局部细节往往难以捕捉到。同时，由于相邻镜头间很难做到物理上的光心重合，因而导致视频拼接的接缝处出现失真，有时甚至会出现人物肢体的缺省。以上两点导致全景视频融合技术在很多应用场景下无法很好地替代传统摄像设备，尤其是在监控领域，视频画面的模糊以及人物的缺省将导致非常严重的后果。

第二，传统的监控视频融合仅仅只是将多个摄像头采集的不同角度的视频画面简单拼凑在一起。这样就需要布设很多的摄像头才能保证整个空间无死角监控，并且多个角度的画面在一个平面上显示会导致观看者失去空间位置感，这在一些需要远程指挥的应用场景中很难得到应用。

鉴于上述问题，提出本发明。

发明内容

本发明的主要目的在于公开一种多视频融合方法、装置与系统，用于解决现有技术中视频融合所存在的失真，缺省和有死角等问题。

为达上述目的，根据本发明的一个方面，公开一种多视频融合方法，并采用如下技术方案:

一种多视频融合方法包括：获取全景视频信息以及多画面视频信息；根据预设融合算法与预设融合方式对所述全景视频信息以及所述多画面视频信息进行融合。

进一步地，所述获取全景视频信息以及多画面视频信息包括：通过多通道视频采集设备获取第一视频信息，以及通过全景视频采集设备获取第二视频信息；

对所述第二视频信息进行图像点特征提取，得到提取结果；基于所述提取结果对所述第二视频信息进行视频拼接，获取所述拼接结果；基于所述拼接结果对所述第二视频信息进行几何映射获取所述全景视频信息；以及对所述第一视频信息做全景中定位设置，得到定位结果；基于所述定位结果对所述第一视频信息进行几何映射，获取所述多画面视频信息。

进一步地，所述预设融合算法为辐射融合算法，具体包括：首先，计算接缝位置处p_i的像素差值，计算公式为：，D(p_i)＝I_L(p_i)-I_R(p_i)，其中I_L(p_i)和I_R(p_i)分别代表在p_i位置左边图像的像素值和右边图像的像素值；然后，在p_i位置处上部分和下部分各辐射n/2个点，总共n个点的差值，并乘以权重系数得到q位置像素差值，计算公式为：

其中，w_i(q)为权重系数，且权重系数的计算公式为：