[发明专利]用于增强现实场景的实时天空替换特效控制方法及装置

权利要求书

1.用于增强现实场景的实时天空替换特效控制方法，其特征在于，包括以下步骤：

步骤101、利用移动设备摄像头获取视频帧图像；

步骤102、将视频帧图像降采样缩小图像大小，利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图；

步骤103、利用惯性传感器数据和每帧图像对粗略的天空区域掩码图进行细化和稳定；

步骤104、使用快速抠图算法为掩码图增加alpha值；

步骤105、将最终的掩码图上采样到原始视频帧图像大小，然后将虚拟场景与原视频帧图像进行混合，输出带有虚拟天空和其他虚拟三维物体的增强现实效果。

2.根据权利要求1所述的用于增强现实场景的实时天空替换特效控制方法，其特征在于，步骤102中利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图，具体包括以下步骤：

步骤201、设计深度学习网络模型，该模型包含编码器和解码器，编码器减小特征图大小，解码器接收不同分辨率的特征并将它们融合在一起，最后采用softmax层进行语义分割结果的预测；

步骤202、采用小批量随机梯度下降法来优化网络，并设置参数；

步骤203、使用ADE20K和SkyFinder两个数据集进行网络模型的训练；在训练过程中，对数据集进行三个增强操作，包括随机翻转、随机选择和随机亮度，使网络模型能够更好地适应空间位置和亮度变化的天空特征；

步骤204、在PC平台上构建和训练上述网络模型，使用第三方推理引擎将网络模型部署到移动端设备中。

3.根据权利要求2所述的用于增强现实场景的实时天空替换特效控制方法，其特征在于，步骤103的具体步骤如下：

步骤301、从网络模型中获取粗略的天空区域分割结果；

步骤302、设计基于时间一致性的约束，通过惯性传感器数据在视频的前一帧和当前帧之间进行像素级的对应，以优化天空区域中的错误分割结果；

步骤303、设计基于位置一致性的约束，通过惯性传感器数据识别地平线在设备取景框中的位置，消除那些在地平线以下误被识别为天空区域的错误像素；

步骤304、设计自适应的颜色一致性约束，利用天空区域的色彩特征和局部色彩特征来优化具有复杂边界的物体和靠近天空区域但与天空颜色明显不同的物体；

步骤305、将上述三个约束统一到表达式中，从而并行地实现像素级优化，提升计算效率。

4.根据权利要求3所述的用于增强现实场景的实时天空替换特效控制方法，其特征在于，步骤302设计基于时间一致性的约束t表示帧的序号，i表示像素的序号；使用单应矩阵H_Δt来获得第t-1帧和第t帧之间天空区域的像素级对应，公式如下：

其中K是相机投影或内在矩阵，R_t表示第t帧的旋转矩阵，表示第t-1帧的旋转矩阵的逆，单应矩阵H_Δt能够将第t-1帧像素重新投影，使其与第t帧的像素对齐；

最后，计算约束的时间一致性：在第t帧，每个像素的计算方法如下：

其中下标为t-1的变量代表在第t-1帧中计算的值，并通过H_Δt进行重投影到第t帧；ε_temp是误差系数；

I为移动设备的相机帧彩色图像，代表从步骤301获得的网络模型输出的第i个像素的分割值，这个值表示一个像素是否为天空区域的概率，所有的组成了一个向量f^seg，通过使用阈值0.5可以将f^seg进行二值分类，得到P^seg，P^seg是一个二维向量阵列，组成一张黑白图，即初步的天空分割掩码图。