[发明专利]一种视频图像拼接方法及装置

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及视频图像处理技术,尤其涉及一种视频图像拼接方法及装置。

背景技术

现有技术中，目前常用的视频图像拼接方法主要有基于区域的图像拼接方法和基于特征的图像拼接方法。基于区域的图像拼接方法又可分为基于空间像素匹配的拼接算法和基于频域的拼接算法；基于特征的拼接方法主要根据采取采集特征的不同进行区分，比如早期的轮廓特征以及后来出现的SIFT特征、SURF特征、ORB特征等。

基于区域的图像拼接方法中，基于像素匹配的拼接算法，主要通过两幅图像像素间的灰度关系来确定图像间的变化参数。早期的匹配方法是通过在相邻重叠部分进行平移，然后比较两幅图像的匹配度，需要测试所有的平移情况。这种方法运算量极大，而且不能解决旋转和尺度变换问题。还有采用基于金字塔结构的多分辨率匹配进行最优匹配搜索，可以在一定程度上解决尺度变换问题，但是对于旋转问题解决的不理想。基于频域的拼接方法，是通过对两幅图像做二维离散傅里叶变换，通过频域内的相关关系反变换得到空间域的相关关系。

基于特征的图像拼接方法，这种方法不是利用图像的全部信息，而是首先在图像中提取特征，通过比较两幅图像的特征得到图像间的变化关系。采用轮廓提取的方法，首先对图像进行卷积增强，检测图像中像素符号变化的点(过零点)作为边界点，提取轮廓后进行特征描述。采用SIFT(Scale Invariant and Feature Transform)，这种方法首先通过建立拉普拉斯金字塔来消除尺度变化的影响，然后在尺度空间内进行特征检测，并根据关键点邻域的梯度方向确定特征点的方向，进而解决尺度及旋转问题。对于基于特征点的图像拼接算法，对拼接质量及速度影响最大的主要在与特征选取，随后出现的SURF特征、ORB特征等都在保证一定质量的情况下更加侧重速度的提升。

目前视频图像拼接普遍依赖于无人机遥测数据的解析，例如经纬度、高度、速度、俯仰、横滚等信息，需要参考这些数据来执行图像匹配操作，而实际飞行中遥测数据可能与视频不同步，或出现某些无人机遥测数据无法获取的情况，导致传统的视频图像拼接方法无法实现真正的实时拼接。因此，现有技术在追求拼接精度时很难达到实时的效果，而在追求实时的情况下对于上述复杂情况考虑不周全，难以兼顾精度和速度。

以无人机领域为例，我国目前无人机应用发展迅速，无论是军用还是民用领域，无人机的行业应用日益扩展和深入发展，比如军事目标搜寻、石油管道监测、电力巡线、林业防火预警、农业调查等。在这些行业应用中，无人机作为一种遥感应用的延伸平台，视频数据采集及视频数据处理是遥感数据分析的基础，而能够得到实时拼接的视频信息将非常有助于数据实时分析。

虽然技术人员已经从多种不同的方向对视频图像拼接技术进行了不同程度的改进与优化，但是，目前的视频图像拼接方法仍然普遍存在如下问题：

(1)现有技术采用的特征大都很难达到实时的效果，ORB特征虽然能够得到较好的实时效果，但是对于拼接连续性及尺度变换效果较差。

(2)现有技术存在过度依赖GPS位置信息的情况，可能导致拼接完全失败。

发明内容

有鉴于此，本发明实施例提供一种视频图像拼接方法及装置，以实现实时、快速、稳定的图像拼接。

本发明实施例采用以下技术方案：

第一方面，本发明实施例提供了一种视频图像拼接方法，包括：

获取相邻的两个视频帧以及摄像机拍摄所述两个视频帧时的位置信息；

根据所述位置信息分别确定所述两个视频帧的匹配区域，将位于所述匹配区域的图像作为待匹配图像；

对所述待匹配图像进行特征提取；

根据所提取的特征对所述两个视频帧的待匹配图像进行特征匹配；

根据匹配结果对所述两个视频帧进行拼接与融合。

第二方面，本发明实施例还提供了一种视频图像拼接装置，包括：

视频帧及位置信息获取单元，用于获取相邻的两个视频帧以及摄像机拍摄所述两个视频帧时的位置信息；

匹配图像确定单元，用于根据所述位置信息分别确定所述两个视频帧的匹配区域，将位于所述匹配区域的图像作为待匹配图像；

特征提取单元，用于对所述待匹配图像进行特征提取；

特征匹配单元，用于根据所提取的特征对所述两个视频帧的待匹配图像进行特征匹配；

图像拼接单元，用于根据匹配结果对所述两个视频帧进行拼接与融合。

本发明实施例提出的技术方案的有益技术效果是：