[发明专利]带有时间域同步校准技术的多源视频拼接方法

摘要

本发明属于视频处理技术领域，为避免有运动物体的视频拼接过程中出现的鬼影以及物体形变现象，在时间轴上完成不同视频源信息的同步，使得在接下来的拼接过程中能够很好的用于基于静止图像配准拼接的各种处理，得到较好的效果，本发明采取的技术方案是，带有时间域同步校准技术的多源视频拼接方法，包括如下步骤：把不同视频源的输入视频序列存入到帧缓冲中进行预处理；利用图像灰度值检测各个视频帧图像的Harris角点，对角点的分布进行优化；利用仿射变换矩阵，将两幅待拼接的图像在空间上统一坐标，完成空间匹配；校准后的融合图像。本发明主要应用于视频图像处理。

主权项

一种带有时间域同步校准技术的多源视频拼接方法，其特征是，包括如下步骤：把不同视频源的输入视频序列存入到帧缓冲中进行预处理，将视频帧图像从RGB的色彩空间投射到YUV色彩空间；利用图像灰度值检测各个视频帧图像的Harris角点，对角点的分布进行优化，在指定窗口的范围内将角点按相应函数进行从大到小排序，并且只保留前几个角点作为最终的角点，将其余的角点舍去；在得到不同视频源检测到的角点后，采用归一化互相关方法(NCC)进行角点匹配运算：用一个M×N个像素点大小的模板窗口在指定搜索窗口范围内滑动，计算模板窗中心点与待配准角点的相似性度量函数值，在指定范围内取得的极大值点认为是与待匹配点相似性最大的角点；利用仿射变换矩阵，将两幅待拼接的图像在空间上统一坐标，完成空间匹配；以多个视频源中的一个视频源1为基准，连续取得在当前帧T2前后的连续几帧图像信息，即包括T0、T1、T3、T4帧，进行运动物体识别与估计，计算得到当前帧图像中运动物体的运动矢量v，把视频源2中的T2帧中的运动物体映射到视频源1的T2帧中，根据运动矢量v及运动物体映射后位移差ΔS，利用公式(4)估计到两个视频源1与2的T2帧在时间上的误差ΔT： ΔT = ΔS V - - - ( 4 ) 利用时间误差ΔT作为像素值校准的权重，对待拼接图像进行公式(5)所示的像素级校准：Fcalibration(x，y)＝w·f1(x，y)+(1‑w)·f2(x，y)w＝Tcycle‑ΔT                               (5)其中，Tcycle代表两帧图像之间的时间周期，Fcalibration代表校准后的带融合图像，w代表权重值，f1(x，y)和f2(x，y)分别表示待拼接的左右两侧图像的像素值。