[发明专利]图像处理方法及装置

说明书

本公开关于一种图像处理方法及装置。该图像处理方法包括：获取天空延时视频的所有图像帧的平均天空分割图，其中，所述天空延时视频是针对天空进行延时摄影得到的视频；获取所述天空延时视频的所有图像帧的平均光流场；基于所述平均天空分割图和所述平均光流场生成所述天空延时视频的置信度图，其中，所述置信度图是表示所述天空延时视频的像素是天空像素的置信度的图；基于所述天空延时视频、所述平均天空分割图和所述置信度图生成所述天空延时视频的天空分割结果。根据本公开的图像处理方法及装置，可提高天空分割的准确性。

技术领域

本公开涉及图像处理技术领域。更具体地，本公开涉及一种图像处理方法及装置。

背景技术

天空分割(sky segmentation)也称天空抠图，是对图像中的每一个像素进行逐个分类，判断其是否属于天空，进而识别出图像中的天空区域。天空分割是图像语义分割中一个重要的子问题，在图像编辑和内容创作等场景下有着广泛的应用。例如，通过识别图像中的天空，可对天空图像区域进行降噪、暗光增强、自动白平衡等，也可用专业摄影师拍摄的天空图像替换原本的天空背景来提升画面的美感。此外，借用天空分割的结果还可制作出让人耳目一新的天空动态短视频。

近年来，随着人工智能技术的发展，基于深度学习的天空分割算法取得了很好的效果。然而，训练深度学习模型往往需要大量有标注(label)的数据；训练数据数量越多、标注越准确、天空图像多样性越高，也常常意味着训练出的分割模型效果越好。不过，与标注图像的类别不同，训练天空分割算法要求像素级别的标注。而目前基于众包的人工标注为该领域的主流方案，费时费力不说，其标注还存在一定程度的主观偏差。此外，人工标注工具多采用基于多边形的标注方式，因此对于细节丰富的天空边缘，其标注颗粒度(granularity)往往不高，如图1所示；另一个大多数天空分割训练数据存在的问题是，其包含的天空图像多样性偏低，表现为天空纹理和光照条件单一。所有这些标注数据存在的问题，一直困扰着天空分割模型在实际场景中的应用。

发明内容

本公开的示例性实施例在于提供一种图像处理方法及装置，以至少解决相关技术中的图像处理的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种图像处理方法，包括：获取天空延时视频的所有图像帧的平均天空分割图，其中，所述天空延时视频是针对天空进行延时摄影得到的视频；获取所述天空延时视频的所有图像帧的平均光流场；基于所述平均天空分割图和所述平均光流场生成所述天空延时视频的置信度图，其中，所述置信度图是表示所述天空延时视频的像素是天空像素的置信度的图；基于所述天空延时视频、所述平均天空分割图和所述置信度图生成所述天空延时视频的天空分割结果。

可选地，获取所述天空延时视频的所有图像帧的所述平均天空分割图的步骤可包括：通过天空分割模型对所述天空延时视频的每个图像帧进行天空分割，得到所述天空延时视频的每个图像帧的天空分割结果；对所述天空延时视频的所有图像帧的天空分割结果执行平均操作，将平均操作结果作为所述天空延时视频的所有图像帧的平均分割图。

可选地，获取所述天空延时视频的所有图像帧的所述平均光流场的步骤可包括：通过光流提取模型获取所述天空延时视频的所有图像帧的所述平均光流场。

可选地，在基于所述平均天空分割图和所述平均光流场生成所述天空延时视频的置信度图之前，所述图像处理方法还可包括：基于所述平均光流场对所述平均天空分割图进行调整，并将调整后的平均天空分割图作为所述平均天空分割图。

可选地，基于所述平均天空分割图和所述平均光流场生成所述天空延时视频的所述置信度图的步骤可包括：基于所述平均天空分割图确定所述天空延时视频中的像素的置信度；基于所述平均光流场确定所述天空延时视频中的像素的光流幅度；基于所述天空延时视频中的像素的置信度和光流幅度生成所述天空延时视频的所述置信度图。