[发明专利]直播场景中获取图像前景区域的方法和装置

说明书

本申请涉及一种直播场景中获取图像前景区域的方法和装置，该方法包括：对原始图像帧实施下采样处理，将原始图像帧缩放至缩略图；根据预设的前景分割区域参数对所述缩略图进行前景分割，形成第一前景分割掩模；对所述第一前景分割掩模进行放大处理，形成原始图像帧的掩模；以及将所述原始图像帧与所述原始图像帧的掩模进行点乘运算，获取图像前景区域。根据本发明的方法和装置，通过下采样和预设分割区域的方式，能够快速实现对视频图像帧的快速分割，满足直播场景实时要求。

技术领域

本申请涉及在线直播领域，尤其涉及一种直播场景中获取图像前景区域的方法和装置。

背景技术

在线课堂或视频直播场景中，会遇到用户基于个人隐私考虑，要对直播间背景进行遮挡的需求，或者因为无绿幕条件，但想更换直播间背景的需求。这在技术上要求对前景区域进行提取抠图，当前效果较好的主流技术手段基于深度学习类算法。

然而，深度学习类模型的训练需要大量高质量标注数据，计算量巨大，对硬件计算性能，尤其是GPU（Graphics Processing Unit，图形处理器）配置提出极高要求，因此大多在服务器端进行模型部署，且服务器端的模型部署不利于保护用于数据隐私。以阿里人像抠图AI（Artificial Intelligence，人工智能）模型产品部署要求为例，部署所需GPU配置要求最低均在NVIDIA GTX 1060以上，直播场景下的普通个人用户PC（Personal Computer，个人电脑）通常无法达到这样高的硬件要求。

发明内容

对于应用于直播场景中的个人用户而言，抠图效果可以不需要完全完美精确，但计算量需要降低至普通个人PC可接受，考虑到这一应用需求，本申请提出一种应用于实时直播场景，计算量低至可部署于个人PC端的图像前景区域获取技术。

本申请提供了一种直播场景中获取图像前景区域的技术方案，在个人PC级用户CPU环境下本地部署的前提下，能够解决一般图像分割算法在高分辨率下单帧视频处理耗时过长，无法满足直播场景实时要求的问题。

根据本发明的第一个方面，提供一种直播场景中获取图像前景区域的方法，其包括：

对原始图像帧实施下采样处理，将原始图像帧缩放至缩略图；

根据预设的前景分割区域参数对所述缩略图进行前景分割，形成第一前景分割掩模；

对所述第一前景分割掩模进行放大处理，形成原始图像帧的掩模；以及

将所述原始图像帧与所述原始图像帧的掩模进行点乘运算，获取图像前景区域。

根据本发明的第二个方面，提供一种直播场景中获取图像前景区域的装置，其包括：

缩放单元，用于对原始图像帧实施下采样处理，将原始图像帧缩放至缩略图；

前景分割单元，用于根据预设的前景分割区域参数对所述缩略图进行前景分割，形成第一前景分割掩模；

放大单元，用于对所述第一前景分割掩模进行放大处理，形成原始图像帧的掩模；以及

图像前景区域获取单元，用于将所述原始图像帧与所述原始图像帧的掩模进行点乘运算，获取图像前景区域。

根据本发明的第三个方面，提供一种电子设备，包括：

处理器；以及

存储器，存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行第一方面所述的方法。

根据本发明的第四个方面，提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行第一方面所述的方法。