[发明专利]一种流形结构保持的360度全景图像的高效编辑扩散方法

说明书

本发明公开了一种流形结构保持的360度全景图像的编辑扩散方法，包括：S1，将平面图像映射到球面坐标；S2，建立360度全景图像的球面流形；S3，基于球面流形保持的编辑扩散；S4，基于多分辨率的高效编辑扩散。该方法能够将用户的简单笔画上的编辑操作快速准确地在球面上进行传播，实现360度全景图的交互式高效编辑。

技术领域

本发明属于图像编辑和虚拟现实技术领域，具体涉及一种流形结构保持的360度全景图像的高效编辑扩散方法。

背景技术

编辑扩散最早由An和Pellacini提出，该方法提出了一种简单直观的交互手段用于图像编辑，用户只需在图像上添加简单笔画表明编辑意图，算法就可以自动地将编辑扩散到整个图像，其核心是基于用户编辑以及像素间的相似性构建能量方程，通过求解线性方程组得到编辑结果。为了提升编辑扩散的计算速度，学者们先后提出了基于K-D树、四叉树、RBF等插值方法。为了提升编辑的视觉效果，Ma等人将反走样方法应用于编辑扩散，能够改善先前编辑扩散在图像边缘颜色的错误混合。Chen等人提出了基于流形保持的编辑扩散方法，该方法将每个像素表示成近邻像素的线性组合，能够生成高质量的编辑扩散结果，并且从根本上解决了颜色混合问题。

近年来，基于机器学习的方法开始广泛应用于图像编辑。Oh等人将编辑扩散问题构造成分类问题并能够通过SVM高效求解。Chen等人提出了使用稀疏字典学习方法能够灵活地实现图像上色并保持图像内部的颜色特征。Endo等人对用户的编辑笔画进行深度神经网络训练，并通过训练的模型来决定编辑扩散的结果。

360度全景图像能够展示360度场景的内容，目前广泛应用于虚拟现实。用户使用可穿戴设备如Oculus Rift，HTC Vive等，通过拖拽或转动头部实现交互式浏览。如果直接将以上普通图像编辑的方法直接应用于全景图像会引起诸多问题，原因在于360度全景图通常定义于球面且包含更宽广视角下的图像内容，直接应用2D图像的编辑方法难以保证左右边界的连续性、球面两极点附近的正常扩散以及编辑扩散的计算效率。

为了较好地实现360度全景图像的编辑扩散，需要充分考虑其球面的几何属性，重新在球面上定义各像素的流形结构，从而实现编辑笔画在球面上的正确传播。

发明内容

本发明要解决的技术问题是提供一种流形结构保持的360度全景图像的高效编辑扩散方法，该方法在球面上定义流形结构，通过构建全局能量优化实现高效的编辑传播。

为了解决上述技术问题，本发明采用如下技术方案：

一种流形结构保持的360度全景图像的高效编辑扩散方法，包括以下步骤：

S1，将平面图像映射到球面坐标，具体为，以等效矩形的图像为输入，提取出其颜色和位置信息，然后将平面上的像素点映射到球面并转换成对应的经纬度，并进一步转换为单位球体上的3D坐标；

S2，建立360度全景图像的球面流形，具体为，对每个像素，用颜色和3D坐标组成的高维特征向量表示其特征，并通过高维向量之间的欧氏距离度量像素间的相似度，然后基于该度量进一步寻找每个像素的K个最近邻，最后通过求解基于局部线性嵌入约束的优化得到K近邻的相应权值，从而将任意一个像素表示为K个邻近像素的线性组合；

S3，基于球面流形保持的编辑扩散，具体为，给定用户编辑的笔画和相应的编辑参数，建立能量优化函数实现编辑扩散，其约束为保持用户笔画上的编辑和每个像素的流形结构；

S4，基于多分辨率的高效编辑扩散，具体为，对于超高分辨率的全景图输入，首先将图像进行下采样，并在下采样的图像上进行编辑扩散，然后对编辑扩散的结果进行上采样，并通过导向性滤波进行编辑结果提升，最后结合原输入图像渲染出高质量编辑结果。

优选地，步骤2所述的流形结构中，近邻数量根据像素与近邻的相似度和球面坐标上该像素的纬度自适应调整，公式如下：