[发明专利]一种高清视频实时拼接方法

说明书

本发明公开了一种高清视频实时拼接方法。该方法主要包括视频同步解码、初始化和逐帧拼接等步骤。首先，采集网络摄像机的高清原始视频，并对视频进行同步解码。对于第一帧视频图像，进行初始化，包含基于子区域的视频配准、最佳缝合线组的查找、查找表的生成等步骤。初始化完成后，进行逐帧拼接，包含视频图像的坐标映射、运动物体的检测、缝合线更新、视频融合等步骤，最终输出拼接视频。此外，本发明对视频解码和逐帧拼接阶段中各个步骤采取了并行化策略。本发明可以满足高清视频拼接的实时性要求，对于双路720P视频，拼接帧率大于等于30fps；同时，拼接视频中不会出现重影、模糊和曝光不一致等现象。

技术领域

本发明属于视频图像处理技术领域，尤其是指一种高清视频实时拼接方法。

背景技术

视频拼接技术是对有重叠区域的多路视频进行配准和融合，最终形成大视场视频的技术。随着数字视频技术和计算机技术的发展，高清视频的实时拼接的应用也越来越来广泛，如智能监控、视频会议、辅助驾驶等。视频拼接是图像拼接在时间维度上的扩展，因此，视频拼接技术基于图像拼接，但又不同于图像拼接。高清视频的实时拼接对拼接方法的速度提出了很高的要求。

目前，基于软件的视频拼接主要是离线拼接，实时拼接的视频的分辨率和帧率都还比较低。基于FPGA等硬件的视频拼接，虽然能够保证实时性，但FPGA的开发难度高且周期长，难以实现高质量的视频拼接。此外，由于视频中的物体运动对拼接的配准和融合都存在不利的影响，因此，直接将传统图像拼接方法应用于视频拼接，将导致拼接视频产生鬼影和模糊等。

发明专利CN 106954029 A采用FPGA硬件实时拼接，分时读取摄像头数据无法保证各路视频时间的一致性，专利中的图像融合方法无法解决大视差和运动物体导致的重影问题，而且最终输出视频的帧率仅为7.5fps。发明专利CN 107203970 A提出了一种基于动态最优缝合线的视频拼接方法，最优缝合线可以有效地解决运动物体导致的重影问题。但该方法的运动物体检测方法和缝合线更新策略较为耗时，难以满足高清视频的实时拼接。本发明直接利用视频压缩域的运动矢量信息就能检测运动物体是否穿过缝合线。发明专利CN106056539 A采用了映射表(查找表)的方法对视频图像进行透视变换，但没有考虑到视频帧间的信息冗余。

因此，亟需一种满足实时性的，能解决运动物体导致的重影问题的高清视频拼接方法。

发明内容

本发明针对高清视频拼接的实时性问题以及运动物体导致的重影问题，提供一种高清视频实时拼接方法。

为解决上述技术问题，本发明采用的技术方案如下：一种高清视频实时拼接方法，包含以下步骤：

步骤S1：采集网络高清摄像机的原始视频，根据各路视频的时间戳进行视频帧的同步，将时间戳最接近的视频帧用于同一帧视频的拼接。使用FFmpeg开源库对原始视频进行解码，获得单帧视频图像以及对应的宏块类型表和运动矢量表。视频编解码是以宏块为基本单位的，通常为16×16的像素区域。宏块类型表示的是宏块的不同划分和编码方式。对某一宏块进行帧间预测编码时，需要在邻近帧的某一特定范围内搜索与之最相似的匹配宏块，两宏块在空间上的相对位置偏移就是运动矢量。

步骤S2：多路高清视频的第一帧完成同步解码后，需要进行初始化，包含以下步骤：