[发明专利]图像处理方法和图像处理装置

说明书

本公开涉及一种图像处理方法和图像处理装置。所述图像处理方法包括：将第一图像和第二图像分别投影到第一半球投影模型和第二半球投影模型上；确定所述第一半球投影模型和所述第二半球投影模型上的待缝合面的集合；基于所述待缝合面的集合，生成定制化投影模型；以及将所述第一图像和所述第二图像投影所述定制化投影模型上，以生成第三图像，其中所述第一图像和所述第二图像为从同一位置沿相反成像方向捕获的鱼眼图像。

技术领域

本公开涉及图像处理领域，更具体地，本公开涉及一种基于定制化投影模型的图像处理方法和图像处理装置。

背景技术

当前，已经使用诸如鱼眼镜头的超广角镜头以一次采集全方位的全景图像。全景图像成像系统通过将来自镜头的图像传送到传感器表面，并且通过图像处理将图像拼接到一起来生成全景图像。用于生成全景图像的全景投影主要包括圆柱投影、立方体投影和球形投影。由于不具有死角和与人类视觉系统最为类似，球形全景投影被广泛采用。

通常，球形全景投影需要首先通过单个或多个镜头获取图像，对获取的图像执行失真校正，然后通过诸如模板匹配或特征匹配执行图像匹配，以确定用于拼接全景图像的部分图像之间的缝合区域，最后将缝合的全景图像投影到球面。如上生成球形全景投影图像的处理需要图像处理装置执行复杂的处理过程，这对于静态图像或视频文件的后处理是可以接受的，然而对于实时视频流的球形全景投影来说，图像处理装置的处理能力难以满足对每一视频帧重复执行所有的处理步骤。

因此，希望提供一种图像处理方法和使用该图像处理方法的图像处理装置，其能够改进实时球形全景投影的性能，实现对于视频的实时球形全景投影。

发明内容

鉴于上述问题，本公开提供一种基于定制化投影模型的图像处理方法和图像处理装置。

根据本公开的一个实施例，提供了一种图像处理方法，包括：将第一图像和第二图像分别投影到第一半球投影模型和第二半球投影模型上；确定所述第一半球投影模型和所述第二半球投影模型上的待缝合面的集合；基于所述待缝合面的集合，生成定制化投影模型；以及将所述第一图像和所述第二图像投影所述定制化投影模型上，以生成第三图像，其中所述第一图像和所述第二图像为从同一位置沿相反成像方向捕获的鱼眼图像。

此外，根据本公开的一个实施例的图像处理方法，其中所述将第一图像和第二图像分别投影到第一半球投影模型和第二半球投影模型上包括：分别基于所述第一图像和所述第二图像，生成第一纹理贴图和第二纹理贴图；以及将所述第一纹理贴图和所述第二纹理贴图分别投影到所述第一半球投影模型和所述第二半球投影模型上。

此外，根据本公开的一个实施例的图像处理方法，其中所述确定所述第一半球投影模型和所述第二半球投影模型上的待缝合面的集合包括：沿着第一方向，从投影的所述第一纹理贴图和所述第二纹理贴图提取特征点；沿着与所述第一方向正交的第二方向，确定与从所述第一纹理贴图确定的第一特征点相匹配的从所述第二纹理贴图确定的第二特征点，所述第一特征点和所述第二特诊点为一对匹配的特征点对；以及记录所有匹配的特征点对所在的面片作为待缝合面片对的集合。

此外，根据本公开的一个实施例的图像处理方法，其中所述基于所述待缝合面的集合，生成定制化投影模型包括：将每个所述待缝合面片对的顶点的球面距离缩减为0，以生成所述定制化投影模型；以及为所述定制化投影模型中的每个面片设置标记。

此外，根据本公开的一个实施例的图像处理方法，其中所述将所述第一图像和所述第二图像投影所述定制化投影模型上，以生成第三图像包括：将所述第一纹理贴图和所述第二纹理贴图投影到所述定制化投影模型上；以及基于所述标记，对所述第一纹理贴图和所述第二纹理贴图的每个面片执行处理，以生成所述第三图像。