[发明专利]图像生成的方法、装置及系统

说明书

本发明提供一种图像生成的方法、装置及系统，该方法，包括：获取第一双鱼眼图像对应的初始全景图像；从所述初始全景图像中提取出第一特征图像；从第二双鱼图像中提取视觉特征信息；其中，所述第二双鱼图像的分辨率高于所述第一双鱼图像的分辨率；将所述第一特征图像与所述视觉特征信息进行融合处理，得到融合全景图像。可以实现无需高要求的硬件设备、无需进行初始化等繁琐操作，获得较高精准度的高分辨率融合全景图像，还可以提高获得高分辨率融合全景图像的速度。

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种图像生成的方法、装置及系统。

背景技术

随着全方位相机的发展，360度全景图像近年来备受关注，且360度全景图像生成技术广泛应用于生物、医学、建模及虚拟现实等领域。360度全景图像也称为三维全景图像或者全景环视图像。360度全景图像生成技术是一种运用数码相机对现有场景进行多角度环视拍摄之后，再利用计算机进行后期缝合，并通过加载播放程序来完成的一种三维虚拟展示技术。

现有技术中360度全景图像的生成方法主要分为两种，直接拼接方法和基于特征的方法。直接拼接方法的优点在于能够使用所有可用的图像数据，可以提供非常准确的点与点对应关系。例如一种基于全局相似度约束的线导局部整经方法，利用线特征对图像进行精准拼接。另一种基于特征的方法通常从图像中检测出不变性特征，然后进行图像匹配，找出对应的特征。例如，先将鱼眼图像通过等矩形变换展开后在利用特征点进行拼接，或者通过光补偿、等矩形变换、图像对齐和图像融合将双鱼眼图像拼接成360度全景图像。

然而，直接拼接的方法需要进行复杂的初始化操作，例如相机标定。基于特征的方法虽然不需要进行初始化操作，但造成处理双鱼眼图像时缺乏不变性等问题。

发明内容

本发明提供一种图像生成的方法、装置及系统，以提高获取高分辨率融合全景图像的精准度，无需高要求的硬件设备及进行初始化等繁琐操作，还可以提高获得高分辨率融合全景图像的速度。

第一方面，本发明实施例提供的一种图像生成的方法，包括：

获取第一双鱼眼图像对应的初始全景图像；

从所述初始全景图像中提取出第一特征图像；

从第二双鱼眼图像中提取视觉特征信息；其中，所述第二双鱼眼图像的分辨率高于所述第一双鱼眼图像的分辨率；

将所述第一特征图像与所述视觉特征信息进行融合处理，得到融合全景图像。

在一种可能的设计中，获取第一双鱼眼图像对应的初始全景图像，包括：

将所述第一双鱼眼图像作为目标网络模型的输入，由所述目标网络模型输出所述第一双鱼眼图像对应的初始全景图像；其中，所述目标网络模型用于根据所述第一双鱼眼图像中提取的图像特征，预测所述第一双鱼眼图像对应的初始全景图像。

在一种可能的设计中，从所述初始全景图像中提取出第一特征图像，包括：

对所述初始全景图像进行至少一次卷积处理，得到所述初始全景图像对应的中间特征图；

对所述中间特征图进行反卷积处理，得到与所述第二双鱼图像分辨率相同的第一特征图像。

在一种可能的设计中，从第二双鱼图像中提取视觉特征信息，包括：

对所述第二双鱼图像进行预设次数的卷积处理，得到所述第二双鱼图像对应的视觉特征信息。

在一种可能的设计中，将所述第一特征图像与所述视觉特征信息进行融合处理，得到融合全景图像，包括：

在所述第一特征图像中增加所述第二双鱼图像对应的视觉特征信息，得到第二特征图像；

对所述第二特征图像进行卷积和反卷积处理，获取预设分辨率的融合全景图像。