[发明专利]用于增强现实场景的实时天空替换特效控制方法及装置

说明书

本发明公开了用于增强现实场景的实时天空替换特效控制方法及装置，所述方法包括：利用移动设备摄像头获取视频帧图像；利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图；利用惯性传感器数据和每帧图像对天空区域掩码图进行细化和稳定；使用抠图算法为掩码图增加alpha值；利用最终的掩码图将虚拟场景与原视频帧图像进行混合，输出带有虚拟天空和其他虚拟三维物体的增强现实效果。通过本发明解决了在移动设备上无法实现高效实时的天空替换的问题，实现了增强现实中对天空替换效果的控制。

技术领域

本发明属于图像处理技术领域，涉及增强现实技术，特别涉及一种用于增强现实场景的实时天空替换特效控制方法及装置。

背景技术

增强现实(AR)技术的发展模糊了现实和虚拟世界之间的界限，而天空区域在日常环境中无处不在，对它的增强功能开始在AR应用中引起关注。例如，AR观星应用可以帮助用户通过交互式AR实时识别恒星、星座、行星等。天空替换问题是实现该功能的核心问题之一，也是最具有挑战性的问题。在移动AR应用中，我们期望用户用手机的摄像头举起手机就能获得实时的天空替换效果——天空区域被准确地分离出来，并被一个虚拟天空代替。此外，用户可以自由移动手机，以获得虚拟天空与现实混合的沉浸式体验。解决这个问题可以实现更多AR应用，如显示罕见的天文景观，展示幻想中的天体，直观地了解天气现象，创造烟花等。

为了实现图像或视频中的天空替换，可以利用抠图方法来提取每个单独视频帧的天空区域。然而，这些技术对实现我们的目标有局限性，因为(1)抠图方法往往需要用户互动；(2)抠图方法通常计算速度过慢，无法在实时状态下运行，特别是在移动设备上。除了抠图方法外，近年来出现了一些专门用于替换天空的视频编辑方法，然而，它们中的大多数都需要较高的算力，或者不支持实时运行。此外，上述这些方法都没有考虑到AR中的虚拟—真实世界融合，因为它们主要关注的是离线图像或视频。

因此，移动AR应用的实时天空替换问题带来了现有图像(视频)编辑方法所不具备的新挑战。首先，我们必须在移动处理器上以低延迟和低计算量提取天空区域。其次，我们要实现视频帧在时间上的一致性，这意味着提取的区域不能有明显的不稳定(抖动)。第三，我们希望最终的合成效果在视觉上足够美观，尤其是在天空和非天空区域的交界处不能出现明显的硬边缘。最后，我们必须确保该解决方案能够被有效地整合到一个实时的移动AR应用系统中。

目前还没有一种现有的方法能够在移动设备上以较低的计算量实现实时的天空替换，而且要保证较好的视觉效果。

发明内容

针对现有技术存在的不足，本发明提供一种用于增强现实场景的实时天空替换特效控制方法及装置，解决的技术问题是如何在算力有限的移动设备上快速而准确地实时提取相机画面中的天空区域。

为了解决上述技术问题，本发明采用的技术方案是：

首先，本发明提供一种用于增强现实场景的实时天空替换特效控制方法，包括以下步骤：

步骤101、利用移动设备摄像头获取视频帧图像；

步骤102、将视频帧图像降采样缩小图像大小，利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图；

步骤103、利用惯性传感器数据和每帧图像对粗略的天空区域掩码图进行细化和稳定；

步骤104、使用快速抠图算法为掩码图增加alpha值；

步骤105、将最终的掩码图上采样到原始视频帧图像大小，然后将虚拟场景与原视频帧图像进行混合，输出带有虚拟天空和其他虚拟三维物体的增强现实效果。

进一步的，步骤102中利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图，具体包括以下步骤：