[发明专利]带有时间域同步校准技术的多源视频拼接方法

说明书

技术领域

本发明属于视频处理技术领域，针对多视频源的视频拼接不同摄像头时间同步的校准方法，校准了不同摄像头之间存在的时间误差，从空间与时间两个维度完成针对多视频源的视频同步拼接，具体讲，涉及带有时间域同步校准技术的多源视频拼接方法。

背景技术

如今，基于视频图像的拼接技术研究是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。而多摄像头的视频图像拼接技术在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。由于普通的图像只有两个维度的概念，即空间上的水平和垂直方向；而对于视频图像信息，则有时间上的概念，还包含了时间上的维度，因此视频图像的处理不能等同于传统的静态图像处理。对于静态图像拼接技术，一般来说，对于图像拼接的过程由图像获取，图像配准，图像合成三步骤组成，其中图像配准是整个图像拼接的基础。图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。而对于图像的配准研究的前提是图像信息必须经过精确的校准，这样才能保证配准的准确性，以满足要求。对于视频拼接技术，其拼接原理是在静态图像拼接技术的基础上实现的，但是扩展了图像的时间维度信息，因此时间上的校准同步显得尤为重要。目前多视频源的图像拼接及其他处理技术都存在较大的不足之处，其配准流程如图1-1所示。对于不同视频源的帧图像，由于不同摄像头无法完成时间上的同步，导致了不同视频源的图像帧存在时间误差，在后续的拼接过程中难以找到不同视频源的最佳匹配帧进行配准及拼接。并且由于这个时间误差使得不同视频源拍摄的物体存在时间误差的积累，这样在视频摄录过程中出现的运动物体就不可避免的会出现鬼影以及物体形变现象，使得在此之后的处理过程中累计误差更加难以得到准确的图像信息。在时间域上两个摄像头的的不同步注定了不同摄像头摄录的帧图像存在时间维度的错位情况，这样的视频帧，尤其是在高清视频领域里会出现明显的物体错位及运动物体黑影现象。

发明内容

本发明旨在克服现有技术的不足，避免有运动物体的视频拼接过程中出现的鬼影以及物体形变现象，在时间轴上完成不同视频源信息的同步，使得在接下来的拼接过程中能够很好的用于基于静止图像配准拼接的各种处理，得到较好的效果，为达到上述目的，本发明采取的技术方案是，带有时间域同步校准技术的多源视频拼接方法，包括如下步骤：把不同视频源的输入视频序列存入到帧缓冲中进行预处理，将视频帧图像从RGB的色彩空间投射到YUV色彩空间；利用图像灰度值检测各个视频帧图像的Harris角点，对角点的分布进行优化，在指定窗口的范围内将角点按相应函数进行从大到小排序，并且只保留前几个角点作为最终的角点，将其余的角点舍去；在得到不同视频源检测到的角点后，采用归一化互相关方法(NCC)进行角点匹配运算：用一个M×N个像素点大小的模板窗口在指定搜索窗口范围内滑动，计算模板窗中心点与待配准角点的相似性度量函数值，在指定范围内取得的极大值点认为是与待匹配点相似性最大的角点；

利用仿射变换矩阵，将两幅待拼接的图像在空间上统一坐标，完成空间匹配；

以多个视频源中的一个视频源1为基准，连续取得在当前帧T2前后的连续几帧图像信息，即包括T0、T1、T3、T4帧，进行运动物体识别与估计，计算得到当前帧图像中运动物体的运动矢量v，把视频源2中的T2帧中的运动物体映射到视频源1的T2帧中，根据运动矢量v及运动物体映射后位移差ΔS，利用公式(4)估计到两个视频源1与2的T2帧在时间上的误差ΔT：

ΔT=ΔSV---(4)]]>

利用时间误差ΔT作为像素值校准的权重，对待拼接图像进行公式(5)所示的像素级校准：

F_calibration(x，y)＝w·f₁(x，y)+(1-w)·f₂(x，y)

w＝T_cycle-ΔT                                (5)