[发明专利]图像拼接方法、装置、电子设备及存储介质

说明书

本公开提供一种图像拼接方法，包括：获取参考图像及待拼接图像的待匹配特征点对，将待匹配特征点对随机分为M组；依据每组包含的待匹配特征点对，计算该组对应的第一特征变换矩阵，得到M个第一特征变换矩阵；计算每个第一特征变换矩阵对应的适应度值；随机交换适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素，得到N个第二特征变换矩阵；计算每个第二特征变换矩阵对应的适应度值；随机交换适应度值大于预设阈值的第二特征变换矩阵之间的部分矩阵元素，得到K个第三特征变换矩阵，依次迭代，直至得到最优的特征变换矩阵；基于最优的特征变换矩阵，对参考图像与待拼接图像进行拼接。本公开还提供一种图像拼接装置、电子设备及介质。

技术领域

本公开涉及图像处理领域，具体涉及一种图像拼接方法、装置、电子设备及存储介质。

背景技术

图像拼接包括图像特征识别、图像特征点匹配、匹配特征点对的优化、图像变换和图像融合，其中，图像特征识别和匹配特征点对的优化对图像拼接的准确度尤为重要。图像特征点匹配过程中通常会产生错误的匹配特征点对，而错误匹配率会直接影响变换矩阵的计算，进而严重影响图像拼接的质量。

传统的匹配特征点对优化是采用随机抽样一致性(Random Sample Consensus，RANSAC)方法对匹配点对进行筛选。RANSAC方法是通过迭代K次，以求变换矩阵的最优值，但每次迭代只能考虑四个匹配特征点对，每次的迭代之间都是独立，之前的迭代都无法对下一次的迭代产生反馈。并且，通过四个匹配特征点对求解变换矩阵，会导致图像局部区域匹配，而对于一些区域会出现粗糙不规则的情况，特别是对于具有一定视差的图像，该种方式无疑会影响图像拼接的准确度。此外，RANSAC方法中，变换矩阵仅有内点数量决定，当外点过多时，不能有效剔除误匹配点。

公开内容

有鉴于此，本公开提供一方面提供一种图像拼接方法，包括：获取参考图像及待拼接图像对应的待匹配特征点对，将所述待匹配特征点对随机分为M组；依据每组包含的待匹配特征点对，计算该组对应的第一特征变换矩阵，得到M个第一特征变换矩阵；计算每一个第一特征变换矩阵对应的适应度值；随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素，得到N个第二特征变换矩阵；计算每一个第二特征变换矩阵对应的适应度值；随机交换所述适应度值大于预设阈值的第二特征变换矩阵之间的部分矩阵元素，得到K个第三特征变换矩阵，依次迭代，直至得到最优的特征变换矩阵；基于所述最优的特征变换矩阵，对所述参考图像与所述待拼接图像进行拼接。

根据本公开的实施例，所述图像拼接方法还包括：针对于至少一个适应度值大于预设阈值的特征变换矩阵，随机改变特征变换矩阵中的部分矩阵元素。

根据本公开的实施例，所述计算每一个第一特征变换矩阵对应的适应度值包括：根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值，其中，当一待匹配特征点经过特征变换矩阵变换得到的特征点与该待匹配特征点之间的投影误差小于预设值时，该待匹配特征点为内点。

根据本公开的实施例，所述根据内点数量、内点偏差距离及内点分散程度，计算所述适应度值包括：根据：

计算所述适应度，其中，V为所述适应度，α、β、γ为系数，P为内点数量，i、j为内点的编号，S_i为第i个内点的投影误差，A_i表示第i个内点的特征，A_j表示第j个内点的特征。

根据本公开的实施例，所述随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素包括：按照所述适应度值对所述第一特征变换矩阵进行排序，选择适应度最高的第一特征变换矩阵与其他第一特征变换矩阵进行矩阵元素交换。

根据本公开的实施例，所述随机交换所述适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素包括：通过单点交叉交换和/或两点交叉交换的对适应度值大于预设阈值的第一特征变换矩阵之间的部分矩阵元素进行随机交换。