[发明专利]全景拼接图像的二次调整方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种全景拼接图像的二次调整方法、装置、电子设备及存储介质。其中，该方法包括：利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像。本发明在初次调整之后利用局部调整模型对拼接图像进行二次调整，使拼接图像在整体和局部均实现有效的对准，得到了高质量的全景拼接图像。

技术领域

本发明涉及图像处理技术领域，具体涉及一种全景拼接图像的二次调整方法、装置、电子设备及存储介质。

背景技术

随着图像采集技术的发展，用户对采集图像的需求也有了相应的变化，很多应用场景中不再局限于采集镜头当前的单幅图像，而需要获得大范围的全景图像，比如风景摄影、大视场(通常为长距离的桥梁、公路、机场或者高层建筑等)监控等。由于镜头视角和可视距离等限制，通常很难在单幅图像中一次采集到整个大视场的图像，现有技术通常通过视频全景拼接方式来得到指定视场的全景图像。

目前的全景拼接技术主要通过特征点匹配方式实现，但该方式对图片的特征点有一定的要求，在处理特征点丰富且明确的场景中可得到较高质量的拼接图像，但在某些场景单调、特征点缺失的场景中，比如大桥、路面等，由于很难提取到有效的特征点进行匹配对齐，拼接效果并不理想。现有技术虽然也存在一些特征点增强手段，比如通过小范围的旋转来累积拼接边缘的特征点数量等，但这些手段对大面积的单调场景效果有限，同时还会因旋转带来一些形变问题，并不能有效地提升拼接图像质量。

发明内容

针对现有技术中的上述技术问题，本发明实施例提出了一种全景拼接图像的二次调整方法、装置、电子设备及存储介质，以解决特征点缺失场景下拼接图像质量不佳的问题。

本发明实施例的第一方面提供了一种全景拼接图像的二次调整方法，包括：

利用初始全景拼接模型对多个子图片进行初始全景拼接，得到第一拼接图像；

检测所述第一拼接图像中各个子图片的对准情况，根据所述对准情况对每个需要调整的子图片提供调整参数以进行初次调整，得到初次调整后的第二拼接图像；

利用局部调整的单应性矩阵和/或切割参数对所述第二拼接图像进行二次调整，调整各个子图片及其掩码在全景图坐标系中的坐标以得到第三拼接图像。

在一些实施例中，所述初始全景拼接根据各个子图片之间的特征点匹配进行，包括：

所述初始全景拼接模型提取各个子图片的特征点；

识别不同子图片中相互匹配的多个特征点；

按照统一的全景图坐标系将相互匹配的多个特征点的坐标对齐。

在一些实施例中，所述方法中：

基于霍夫变换、边缘检测、语义分割和人工标注中的至少一种方式进行所述对准情况的检测；

根据所述对准情况确定需要移动、旋转、缩放或透视变化的子图片，从而提供对应的单应性矩阵相关参数和/或切割参数。

在一些实施例中，所述初次调整和所述二次调整均包括弯曲操作和/或切割操作。

在一些实施例中，所述弯曲操作包括：

利用单应性矩阵对子图片进行相应的移动、旋转、缩放或透视变化；

计算弯曲后的子图片左上角和右下角在全景图坐标系中的坐标；

计算与弯曲后的子图片同样大小的掩码阵列。