[发明专利]大视差场景下基于自身单应性变换的实时视频拼接方法

权利要求书

1.大视差场景下基于自身单应性变换的实时视频拼接方法，其特征在于，包括如下步骤：

步骤1，读取两路待拼接视频，两路待拼接视频的当前帧分别为M1和M2，判断,两路当前帧M1和M2中是否存在前景，如果两路当前帧M1和M2都存在前景，执行下列步骤2；如果两路当前帧M1和M2都不存在前景，执行步骤5；

步骤2，两路待拼接视频的当前帧M1和M2的前景区域分别为fore(M1)和fore(M2)，融合前景区域fore(M1)和fore(M2)；

步骤3，两路待拼接视频的当前帧M1和M2的背景区域分别为back(M1)和back(M2)，融合背景区域back(M1)和back(M2)；

步骤4，进行完整的前景区域和背景区域融合；

步骤5，初始化拼接模板：两路待拼接视频的当前帧M1和M2中只存在背景时，初始化作为后续只含背景帧的拼接模板；

步骤6，利用拼接模板拼接两路待拼接视频的当前帧M1和M2；

步骤1包含以下步骤：

步骤1-1，打开两路待拼接视频，并判断视频打开是否成功，如果打开成功，获取视频的帧率fps，视频的格式fourcc，以及视频的帧宽度frameW和帧高度frameH；如果打开失败，再尝试一次打开两路待拼接视频，若连续失败，则返回打开视频失败信息，不进行后续步骤，直到两路待拼接视频打开成功；

步骤1-2，分别从两路待拼接视频流中读取当前帧M1和M2；步骤1-3，通过背景差分法对M1和M2分别分割前后景：视频中只包含固定背景的视频帧当作背景模型M，然后对视频当前帧M’与背景模型M做差分，差值小于阈值的像素是背景，其他像素是前景：

其中，fore为当前帧M’的前景区域，fore(x,y)表示前景区域里横纵坐标为x和y的像素点，M(x,y)表示背景模型M里横纵坐标分别为x和y的像素点，T为阈值；根据上述公式得到M1的前景区域fore(M1)，M1的背景区域back(M1)，M2的前景区域fore(M2)，M2的背景区域back(M2)。

2.如权利要求1所述的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，采用逼近投影算法，对当前帧M1的前景区域和M2的前景区域进行图像对齐；

步骤2-2，提取出fore(M1)和fore(M2)的重叠区域；

步骤2-3，对fore(M1)和fore(M2)的重叠区域做多频带融合，得到最终fore(M1)和fore(M2)的拼接结果。