[发明专利]实时无绿幕抠图方法、电子设备和存储介质

说明书

本申请涉及一种实时无绿幕抠图方法、电子设备和存储介质，该方法包括对背景图和原图经过下采样降低分辨率后输入主干网络，生成特征图，对特征图分别通过局部特征提取网络和全局特征提取网络处理目标对象的细节部分和整体，并将处理后的特征图合并，生成双边网格，对原图通过引导网络生成灰度引导图；对双边网格和灰度引导图进行切片操作生成透明通道；根据透明通道和原图生成前景图，本申请解决了相关抠像技术中由于使用不方便、运算量大、计算时间长导致无法应用于移动端的问题。

技术领域

本申请涉及机器学习技术领域，特别是涉及一种实时无绿幕抠图方法、电子设备和存储介质。

背景技术

目前，经常采用传统绿幕算法抠像，虽然传统绿幕算法一直保持着不错的效果，并且实时性和计算量也可以得到保证，但是传统绿幕算法抠像也存在诸多问题，一方面，使用传统绿幕算法抠像时，不仅需要配备绿幕和打光等专业设备，而且还要面临搭建、调节参数还有调光的问题，因此，使用极其不方便，另一方面，虽然将无绿幕抠像的算法用于在具有显卡的电脑端以做到不错的效果，但随时携带配备显卡的电脑，使用极其不便，且显卡的价格十分昂贵，对于普通用户来说门槛相对较高，此外，在无绿幕时，人们经常使用的都是图像抠像领域主流的编解码方式，但是这种方式运算量大、计算时间长，无法应用于移动端。

发明内容

本申请实施例提供了一种实时无绿幕抠图方法、电子设备和存储介质，以至少解决相关抠像技术中由于使用不方便、运算量大、计算时间长导致无法应用于移动端的问题。

第一方面，本申请实施例提供了一种实时无绿幕抠图方法，应用于移动端，所述方法包括以下步骤：

对背景图和原图经过下采样降低分辨率后输入主干网络，生成特征图；

对所述特征图分别通过局部特征提取网络和全局特征提取网络处理目标对象的细节部分和整体，并将处理后的特征图合并，生成双边网格；

对所述原图通过引导网络生成灰度引导图；

对所述双边网格和所述灰度引导图进行切片操作生成透明通道；

根据所述透明通道和所述原图生成前景图。

在其中一些实施例中，所述主干网络包括MobileNetV3网络，所述对背景图和原图经过下采样降低分辨率后输入主干网络，生成特征图的步骤包括：

对所述背景图和所述原图经过下采样降低分辨率后输入所述MobileNetV3网络，生成所述特征图。

在其中一些实施例中，所述局部特征提取网络包括至少一层卷积网络，所述全局特征提取网络包括至少一层卷积网络和至少一层全连接的网络，所述对所述特征图分别通过局部特征提取网络和全局特征提取网络处理目标对象的细节部分和整体的步骤包括：

对所述特征图通过所述至少一层卷积网络学习所述目标对象的边缘细节部分，得到表征所述目标对象边缘细节的特征图；

对所述特征图通过包含的所述至少一层卷积网络和所述至少一层全连接的网络学习所述目标对象的整体，得到表征所述目标对象整体的特征图。

在其中一些实施例中，所述将处理后的特征图合并，生成双边网格的步骤包括：

将表征所述目标对象整体的特征图通过变形重组处理成与表征所述目标对象边缘细节的特征图的尺寸一致，再拼合起来生成第一尺寸的特征图；

将所述第一尺寸的特征图经过所述至少一层卷积处理生成第二尺寸的特征图。

在其中一些实施例中，所述引导网络包括逐点卷积网络，所述对所述原图通过引导网络生成灰度引导图的步骤包括：

通过所述逐点卷积网络对所述原图进行学习，得到与所述原图大小相同的灰度引导图。

在其中一些实施例中，所述对所述双边网格和所述灰度引导图进行切片操作生成透明通道的步骤包括：

通过仿射变换将所述双边网格应用到所述灰度引导图上。