[发明专利]一种视频图像的拼接方法、装置、终端设备及存储介质

说明书

本发明公开了一种视频图像的拼接方法、装置、终端设备及存储介质，方法包括：从待处理视频中提取两个相邻的视频图像帧，并对视频图像帧进行降噪处理，得到两个特定视频图像帧；采用边缘检测法检测特定视频图像帧，确定视频图像帧的匹配区域；查找并提取待匹配图像各自的特征点；采用光流法对特征点进行筛选，根据筛选出的特征点对的空间变换关系，对前后两帧待匹配图像进行空间变换；标定图像的重合区域，并根据重合区域进行图像拼接，得到目标视频图像。本发明能够仅依靠图像本身，运用视频图像识别技术发现并定位河道，运用视频图像融合技术进行图像的融合拼接，以实现对视频图像中非水域区域的图像进行精确、快速且高效地自动拼接融合。

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种视频图像的拼接方法、装置、终端设备及存储介质。

背景技术

目前常用的视频图像拼接方法主要有基于区域的图像拼接方法和基于特征的图像拼接方法。基于区域的图像拼接方法又可分为基于空间像素匹配的拼接算法和基于频域的拼接算法；基于特征的拼接方法主要根据采取采集特征的不同进行区分，比如早期的轮廓特征以及后来出现的SIFT特征、SURF特征、ORB特征等。

基于区域的图像拼接方法中，基于像素匹配的拼接算法，主要通过两幅图像像素间的灰度关系来确定图像间的变化参数。早期的匹配方法是通过在相邻重叠部分进行平移，然后比较两幅图像的匹配度，需要测试所有的平移情况。这种方法运算量极大，而且不能解决旋转和尺度变换问题。还有采用基于金字塔结构的多分辨率匹配进行最优匹配搜索，可以在一定程度上解决尺度变换问题，但是对于旋转问题解决的不理想。基于频域的拼接方法，是通过对两幅图像做二维离散傅里叶变换，通过频域内的相关关系反变换得到空间域的相关关系。

基于特征的图像拼接方法中，不是利用图像的全部信息，而是首先在图像中提取特征，通过比较两幅图像的特征得到图像间的变化关系。采用轮廓提取的方法，首先对图像进行卷积增强，检测图像中像素符号变化的点(过零点)作为边界点，提取轮廓后进行特征描述。采用SIFT(Scale Invariant and Feature Transform)，这种方法首先通过建立拉普拉斯金字塔未消除尺度变化的影响，然后在尺度空间内进行特征检测，并根据关键点邻域的梯度方向确定特征点的方向，进而解决尺度及旋转问题。对于基于特征点的图像拼接算法，对拼接质量及速度影响最大的主要在与特征选取，随后出现的SURF特征、ORB特征等都在保证一定质量的情况下更加侧重速度的提升。

现有技术中，视频图像拼接普遍依赖于无人机遥测数据的解析，例如经纬度、高度、速度、俯仰、横滚等信息，需要参考这些数据来执行图像匹配操作，而实际飞行中遥测数据可能与视频不同步，或出现某些无人机遥测数据无法获取的情况，导致传统的视频图像拼接方法无法实现真正的实时拼接。因此，现有技术在追求拼接精度时很难达到实时的效果，而在追求实时的情况下对于上述复杂情况考虑不周全，难以兼顾精度和速度。

在对现有技术的研究和实践过程，本发明的发明人发现，虽然技术人员己经从多种不同的方向对视频图像拼接技术进行了不同程度的改进与优化，但是，目前的视频图像拼接方法仍然普遍存在如下问题:

(1)现有技术采用的特征大都很难达到实时的效果，但是对于拼接连续性及尺度变换效果较差；

(2)现有技术存在过度依赖GPS位置信息的情况，可能导致拼接完全失败。

发明内容

本发明实施例所要解决的技术问题在于，提供基于一种视频图像的拼接方法、装置、终端设备及存储介质，能够仅依靠图像本身，运用视频图像识别技术与视频图像视角变换技术发现并定位河道，以实现对视频图像中水域区域的图像进行实时、快速且稳定地自动拼接融合。

为解决上述问题，一方面，本发明的一个实施例提供一种视频图像的拼接方法，适于在计算设备中执行，包括：

从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；